|
- 一文了解Transformer全貌（图解Transformer） - 知乎
因为 Transformer不采用RNN结构，而是使用全局信息，不能利用单词的顺序信息，而这部分信息对于NLP来说非常重要。所以Transformer中使用位置Embedding保存单词在序列中的相对或绝对位置。 位置Embedding用 表示， 的维度与单词Embedding相同。
- 如何最简单、通俗地理解Transformer？ - 知乎
Transformer 与 RNN 不同，可以比较好地并行训练。 Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。 Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
- Transformer模型详解（图解最完整版） - 知乎
Transformer 与 RNN 不同，可以比较好地并行训练。 Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。 Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
- 挑战 Transformer：全新架构 Mamba 详解 - 知乎
屹立不倒的 Transformer 迎来了一个强劲竞争者。 自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。
- MoE和transformer有什么区别和联系？ - 知乎
01 Transformer：像“万能翻译官”的神经网络 Transformer 是当今AI大模型（如ChatGPT）的核心架构，最初用于机器翻译，核心是自注意力机制（Self-Attention），能同时分析句子中所有词的关系，而非像传统RNN那样逐词处理。
- 如何从浅入深理解 Transformer？ - 知乎
因为本答案的重点是 Transformer，所以前面四个模型我会快速概览一下，然后介绍下最朴素的注意力（Attention）机制，基于此再详细介绍下 Transformer，并对一个完整的、精炼实现的代码实例进行精讲。
- 训练最基础的transformer模型用多大的gpu就行? - 知乎
transformer 是我这个大目标的第一步，踩了许多的坑。 从一开始的直接手写，到最后的先使用 pytorch 官方 transformer 库实现功能，再替换核心代码；从一开始计划的自己准备数据，训练一个古文和现代文的翻译器，到最后使用公开的数据集训练了一个英文和德文的
- Transformer模型怎么用于regression的问题？ - 知乎
Transformer模型在文本回归分析中的应用 BERT模型的基础是Transformer架构，采用自注意力机制来捕捉输入文本中的长距离依赖关系。 为了进行回归任务，可以在BERT的基础上进行微调，将输出层的单元数设置为1，以适应回归问题的需求。
|
|
|