|
- 如何分析kaiming新提出的dispersive loss，对扩散模型和aigc会带来什么影响? - 知乎
Dispersive Loss 的目的： 是最大化表示的 分散性。 当不进行 \ell_2 归一化时，特征向量的 范数（长度） 是被允许自由变化的。 如果模型为了最小化 Dispersive Loss，它会倾向于让特征向量的范数变得非常大。
- 深度学习的loss一般收敛到多少？ - 知乎
看题主的意思，应该是想问，如果用训练过程当中的loss值作为衡量深度学习模型性能的指标的话，当这个指标下降到多少时才能说明模型达到了一个较好的性能，也就是将loss作为一个evaluation metrics。 但是就像知乎er们经常说的黑话一样，先问是不是，再问是什么。所以这个问题有一个前提，就是
- 大模型sft为什么第二个epoch的时候loss会突然下降？ - 知乎
Loss surfaces of a ResNet-56 (Li et al, 2018) 很可能预训练的大型语言模型在接近最小损失的区域具有非常平滑的损失面，而开源社区在这一区域进行的大量微调工作。 这基于围绕2018年ULMFiT论文原始开发通用语言模型的前提。
- 深度学习中loss和accuracy的关系? - 知乎
loss 的具体形式取决于机器学习任务的类型。 例如，在回归问题中，常用的 loss 函数包括平方损失、绝对损失和对数损失；在分类问题中，常用的 loss 函数包括交叉熵损失和 Hinge 损失。
- 损失函数｜交叉熵损失函数 - 知乎
1 3 Cross Entropy Loss Function（交叉熵损失函数） 1 3 1 表达式 (1) 二分类 在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为 和 ，此时表达式为（ 的底数是 ）： 其中： - —— 表示样本 的label，正类为 ，负类为
- 多任务学习中各loss权重应该如何设计呢？ - 知乎
多任务学习中各loss权重应该如何设计呢？ 多任务学习中，会存在多个网络部分，对应多个loss。 看论文通常是把各loss统一到同一个数量级上，请问这么做的原理是什么？ 为什么一般不考虑不同网络部分… 显示全部 关注者 2,023 被浏览
- 大模型优化利器：RLHF之PPO、DPO
最终，我们可以得出 DPO 的 loss 如下所示： 这就是 DPO 的 loss。 DPO 通过以上的公式转换把 RLHF 巧妙地转化为了 SFT，在训练的时候不再需要同时跑 4 个模型（Actor Model 、Reward Mode、Critic Model 和 Reference Model），而是只用跑 Actor 和 Reference 2 个模型。
- 生成式语言模型的微调，是怎么计算损失函数的，和transformer预训练的方式一样吗？ - 知乎
这里： y 是二元标签，要么是0要么是1。 p 是模型预测为1的概率。 交叉熵损失通过这样的数学形式，有效地衡量了模型输出和真实标签之间的差异，成为优化分类器的关键。在实际训练过程中，我们通过不断迭代模型参数来最小化这个损失值，从而提高模型的准确性。 回到二个问题：和transformer预
|
|
|