|
- LLM推理技术之StreamingLLM：如何拥有无限长生成能力 - 知乎
MIT，Meta AI，CMU的研究人员最近提出了一种StreamingLLM，声称可以使得经过有限序列长度训练的大型语言模型能够在无需任何微调的情况下，推广到无限序列长度的输入和输出。 不过这里值得强调的是，这个方法并没有增加LLM的对上文的记忆，只是让它输入输出无限长。 一个显而易见的好处就是，在对话机器人生成一个很长的回答时，你不需要再输入“继续”了。 Efficient Streaming Language Models with Attention Sinks 本文的主要作者Guangxuan Xiao来MIT韩松老师的实验室。 韩松老师一直致力于深度学习模型的稀疏化、压缩等方向研究。 他擅长通过分析激活层和模型参数张量数值分布特性来设计加速优化策略。
- streaming-llm (无需微调无限扩展大模型输入)论文笔记 - 知乎
基于上述见解，论文提出了 StreamingLLM，这是一个简单且高效的框架，使用有限注意力窗口训练的LLM能够处理无限长度的文本，而不需要微调。 StreamingLLM利用了注意力陷阱具有高注意力值的事实，保留它们可以保持注意力得分分布接近正常。 因此，StreamingLLM简单地保留了Attention Sink token的KV（只需要4个初始标记token就足够了）以及滑动窗口的KV，以锚定注意力计算并稳定模型的性能。 借助StreamingLLM，包括Llama-2- [7, 13, 70]B、MPT- [7, 30]B、Falcon- [7, 40]B和Pythia- [2 9,6 9,12]B在内的模型可以可靠地模拟400万token扩展，甚至可能更多。
- 在线学习（Online Learning）导读 - 知乎
In computer science, online machine learning is a method of machine learning in which data becomes available in a sequential order and is used to update our best predictor for future data at each step, as opposed to batch learning techniques which generate the best predictor by learning on the entire training data set at once
- Learning Streaming Video Representation via Multitask Training
Unlike offline video understanding, streaming video understanding requires the ability to process video streams frame by frame, preserve historical information, and make low-latency decisions To address these challenges, our main contributions are three-fold
- 论文解读: streaming-LLM 使各种模型稳定、高效地处理 . . .
论文《Efficient streaming language models with attention sinks》提出StreamingLLM框架，解决LLMs流式应用中内存占用和性能退化问题，通过保留初始tokens的KV稳定性能，实验证明可处理400万tokens文本，添加sink token优化性能。
- Streaming Deep Reinforcement Learning Finally Works
Streaming learning, the modus operandi of classic reinforcement learning (RL) algorithms like Q-learning and TD, mimics natural learning by using the most recent sample without storing it This approach is also ideal for resource-constrained, communication-limited, and privacy-sensitive applications
- Efficient Streaming Language Models with Attention Sinks
In this paper, we first demonstrate that the emergence of attention sink is due to the strong attention scores towards initial tokens as a "sink" even if they are not semantically important
- Streaming-DRL - Qs Blog
相比之下，流式学习有一个更致命的问题——流式障碍 (stream barrier)，即学习不稳定，甚至难以有效学习。 这篇文章提出stream-x算法，克服流式障碍并且具备批量学习的样本效率。
|
|
|