|
- 如何分析kaiming新提出的dispersive loss，对扩散模型和aigc会带来什么影响? - 知乎
Dispersive Loss：为生成模型引入表示学习 何恺明团队的这篇文章提出了一种名为「Dispersive Loss」的即插即用正则化方法，用来弥合扩散模型与表示学习之间长期存在的鸿沟。 当前扩散模型主要依赖回归目标进行训练，普遍缺乏对内部表示的显式正则化。
- 深度学习的loss一般收敛到多少？ - 知乎
这个链接是回归问题的loss，本回答说一下分类问题的。 交叉熵 公式这里就不放了（手机打字不方便），可以看出，其实loss就是log(Pi)的平均值，Pi指的是预测ground truth的概率。所以，如果你希望预测概率超过0 5就好，那么loss就训练到log(0 5)。
- 大模型sft为什么第二个epoch的时候loss会突然下降？ - 知乎
这样看来我们估计的这个loss还算不错。 那么我们看题目下某些回答中sft损失降到了多少呢，直接给降到了0 1左右，这已经显著地低于理论下界了。 就说明训练数据的多样性小于语言固有的随机性，要么数据太少，要么模式太简单，导致llm很轻松地把它全都背了
- 深度学习中loss和accuracy的关系? - 知乎
首先，loss 是我们预先设定的损失函数计算得到的损失值；accuracy 是模型在数据集上基于给定 label 得到的评估结果。简单来说： 通过模型在 dev test 集上的 accuracy ，计算模型正确分类的样本数与总样本数之比以衡量模型的效果，目标是对模型的效果进行度量。
- 损失函数｜交叉熵损失函数 - 知乎
Deng [4]在2019年提出了ArcFace Loss，并在论文里说了Softmax Loss的两个缺点：1、随着分类数目的增大，分类层的线性变化矩阵参数也随着增大；2、对于封闭集分类问题，学习到的特征是可分离的，但对于开放集人脸识别问题，所学特征却没有足够的区分性。
- Verl框架在GRPO上的loss和adv计算与论文原生的区别在哪？
dapo的loss 与grpo的区别之处在于grpo是先对response求seq_mean，再将各seq的loss取平均，而dapo(或者说verl的grpo)直接将所有response拉通来求mean，参考论文R1-Zero-Like中的bias观点，拉通求平均能消除模型对于response_length的偏好，负例样本的长度不会攀升。
- 深度学习中LOSS的设计思路是什么? - 知乎
loss设计三部曲： 任务目标—》评价指标—》损失函数 三者越贴约好，因为我们一般只能通过优化损失函数来优化评价指标，从而优化任务目标。如果损失函数与评价指标不太贴，而评价指标与任务目标也不太贴，这误差传递起来就大了。
- 深度学习中loss值可以为负吗？ - 知乎
实际训练过程中可能出现这种现象，不过我建议用logsoftnax()处理一下，这样画loss曲线更好看。。。。。。 不过之前改算法的时候发现加log后准确率会差的较多，所以我是在loss输出前log一下。 顺便说一下，我训练时的衡量值是mIoU，如果你把loss作为目标函数
|
|
|