|
- 挑战 Transformer：全新架构 Mamba 详解
它们共同创建了选择性 SSM 或 S6 模型，这些模型可以像自注意力一样用于创建 Mamba 块。 在探讨这两大主要贡献之前，让我们首先探讨一下为什么它们是必要的。
- 如何理解 Mamba 模型 Selective State Spaces? - 知乎
Mamba 模型是由多层 Mamba 层连接而成，与 Transformer 模型的层非常相似。 Mamba 区块的架构很大程度上受到Transformer 和 Hungry Hungry Hippo (H3) 架构的启发。
- 新架构mamba是否真的有用？ - 知乎
总体来说mamba不适合做backbone，把原来的 Trans 或 CNN 块换成Mamba甚至掉点明显，收敛时间巨长。 But，这并不意味着不能用 SSM框架 来水论文。 比如：在 SS2D 基础上进行魔改，提出某特征融合、提取、加强模块将它应用于图像分割+目标检测领域。
- 如何评价最新的 Mamba 论文 MambaOut？ - 知乎
还有MambaOut模型名字的credit来自于科比，虎扑JRs和知乎知友，以及实验室的Xingyi同学也向我推荐这个名字。 并且MambaOut形容论文中的模型非常贴切。 之前的论文有SSM的模型被叫做Mamba模型，那我们论文把SSM去掉构造的模型叫做MambaOut，非常贴切，不是硬凑。
- 最新的Mamba有何缺点？ - 知乎
MambaOut模型、视觉Mamba模型以及各种其他基于卷积和注意力的模型在ImageNet上的表现如表1所示。 值得注意的是，我们的MambaOut模型，不包含SSM，始终优于所有模型尺寸上包含SSM的视觉Mamba模型。
- Mamba作为一种并行度高的RNN有哪些应用场景？ - 知乎
Mamba提供了一种结构化机制，用于随时间处理序列数据，确保有效地捕获3D体素网格内的长距离依赖关系。 可变形卷积允许模型动态调整接受域，增强了检测不同尺度物体的能力。
- Mamba如何提升模型处理能力？ - 知乎
Mamba模型刚好集成了两者的优势，既发挥了transformer并行训练的优势，也发挥了rnn线性推理的优势。 状态空间模型 (State Space Model,SSM) 我们用一个迷宫来尝试理解一下状态空间模型。 “状态空间”就像是迷宫中所有可能位置的集合，即一张地图。
- 大模型面试：八股文+题目整理 - 知乎
解释一下 NLP 领域的迁移学习 1 什么是大模型幻觉，如何才能缓解这个问题？ 2 RWKV、Mamba 和 Mamba-2的核心原理和创新之处是什么？ 3 为什么现在的主流大模型都是 decoder-only 架构？ 4 将Transformer模型训练得更深（即增加模型的层数）会带来什么问题？ 如何解决…
|
|
|