|
- 一文了解Transformer全貌（图解Transformer）
自2017年Google推出Transformer以来，基于其架构的语言模型便如雨后春笋般涌现，其中Bert、T5等备受瞩目，而近期风靡全球的大模型ChatGPT和LLaMa更是大放异彩。网络上关于Transformer的解析文章非常大，但本文将力求用浅显易懂的语言，为大家深入解析Transformer的技术内核。
- 挑战 Transformer：全新架构 Mamba 详解
算法 2 展示了作者所使用的主要选择机制。 这一套的思路由来已久，Transformers 里面的 QKV、LSTM里面的、Gating 都是类似的思想。 S4 和 选择性 SSM 的核心区别在于，它们将几个关键参数（∆, B, C）设定为输入的函数，并且伴随着整个 tensor 形状的相关变化。
- 如何评价 Meta 新论文 Transformers without Normalization？
但一方面而言作者并没有很严谨的证明这个事情，但在之前一些宣传中，这部分的提速成为了这个事情的主要贡献；另一方面而言，我们在一个Transformers中有很多的token间和channel间的交互，在现代的大模型中，norm的占比实在是太低了，如果我们去看最近一些新
- transformers和ollama模型为什么输出速度差距如此之大？ - 知乎
transformers和ollama模型为什么输出速度差距如此之大？ 笔记本3080Ti16G显存，同一个问题，用transformers运行Qwen2 5-14B-Instruct-GPTQ-Int4模型输出速递1 4…
- 大模型面试：八股文+题目整理 - 知乎
复习一下 transformer 的架构和原理，重点关注 input 的计算和 shape 的变化过程。 一、什么是 Transformer？ Transformer 是一种用来“理解”和“生成”语言的模型，比如它能看懂一句话，也能写一篇文章。你可以把它想象成一个非常聪明的“语言翻译官”或“作文高手”。 它的核心思想是：每个…
- 十分钟读懂旋转编码（RoPE）
旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA、GLM 模型也是采用该位置编码方式。 和相对位置编码相比，RoPE 具有更好的 外推性
- transformer的损失函数如何定义？ - 知乎
Transformer 的整体结构，左图Encoder和右图Decoder 可以看到 Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。Transformer 的工作流程大体如下： 第一步： 获取输入句子的每一个单词的表示向量 X， X 由单词的 Embedding（Embedding就是从原始数据提取出来的Feature） 和单词位置的
- 如何看待 Google 最新开源的 Gemma-3 系列大模型？ - 知乎
不仅如此，它还支持灵活的开发工具。 比如Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM和Gemma cpp。 开发者们可以在Google AI Studio中，立即体验Gemma 3全部功能，或通过Kaggle、Hugging Face下载模型。 此外，开发者还能根据具体需求定制Gemma 3。
|
|
|