|
- 深度学习的loss一般收敛到多少？ - 知乎
看题主的意思，应该是想问，如果用训练过程当中的loss值作为衡量深度学习模型性能的指标的话，当这个指标下降到多少时才能说明模型达到了一个较好的性能，也就是将loss作为一个evaluation metrics。 但是就像知乎er们经常说的黑话一样，先问是不是，再问是什么。所以这个问题有一个前提，就是
- 究竟什么是损失函数 loss function? - 知乎
如何设计loss函数？ Loss函数和你任务的评价准则越相关，二者越接近越好。 如果你任务的评价准则是F1-score（不可导），但一直在使用CrossEntropy Loss来迭代模型，二者之间虽然相关性很高但仍存在非线性。 如何在Pytorch中使用loss函数？
- 训练网络时为什么会出现loss逐渐增大的情况？ - 知乎
训练网络时为什么会出现loss逐渐增大的情况？ 模型找是是网上找的pytorch实现的lenet，我把训练的次数调大了，发现训练集loss值在50次左右前是一直减小的，但之后逐渐增大，200多次后就…
- 损失函数｜交叉熵损失函数 - 知乎
对所有样本的loss求平均： 我们发现，MSE能够判断出来 模型2 优于 模型1，那为什么不采样这种损失函数呢？
- 大模型优化利器：RLHF之PPO、DPO
最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。 DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor Model 、Reward Mode、Critic Model 和 Reference Model），而是只用跑 Actor 和 Reference 2 个模型。
- 哪里有标准的机器学习术语 (翻译)对照表？ - 知乎
L 损失 (Loss) 一种衡量指标，用于衡量模型的预测偏离其标签的程度。 或者更悲观地说是衡量模型有多差。 要确定此值，模型必须定义损失函数。 例如，线性回归模型通常将均方误差用作损失函数，而逻辑回归模型则使用对数损失函数。 L_1 损失函数 ( L_1 Loss)
- 大模型预训练的loss一般都是1到2左右的吗，有没有一种可能，能够收敛到无限接近0？ - 知乎
大模型预训练的loss一般都是1到2左右的吗，有没有一种可能，能够收敛到无限接近0？ 只是开个脑洞，会不会有足够高质量的数据和足够大的模型能让这个大模型的trainloss收敛到接近于0，是否就意味着这时候大模型应该是已经实现强人工智能…
- 为什么我的loss一直不下降，训练了50000次还在2. 5？准确率也只有10%？ - 知乎
2 测试的时候 loss 不下降 训练的时候过拟合导致效果不好 交叉检验，通过交叉检验得到较优的模型参数; 特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间; 正则化，常用的有 L1、L2 正则。 而且 L1正则还可以自动进行特征
|
|
|