|
- LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders - GitHub
LLM2Vec is a simple recipe to convert decoder-only LLMs into text encoders It consists of 3 simple steps: 1) enabling bidirectional attention, 2) training with masked next token prediction, and 3) unsupervised contrastive learning
- LLM2Vec: 改造Decoder-only LLM以生成高质量text embedding
最近有研究人员提出了LLM2Vec，一种能将任何decoder-only模型改造成文本表征模型的无监督方法，该方法主要涉及了 双向注意力机制 改造， masked next token prediction 任务，以及无监督对比学习三个部分。
- LLM2Vec环境配置模型下载【保姆级教程】 - CSDN博客
llm2vec使用的全流程教程，包括cuda如何切换版本、如何在no-sudo情况下装nvcc、如何安装flash-attn库、如何下载非公开Hugging Face模型等等细粒度教程，包教包会，童叟无欺！
- LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
In this work, we introduce LLM2Vec, a simple unsupervised approach that can transform any decoder-only LLM into a strong text encoder LLM2Vec consists of three simple steps: 1) enabling bidirectional attention, 2) masked next token prediction, and 3) unsupervised contrastive learning
- llm2vec · PyPI
LLM2Vec is a simple recipe to convert decoder-only LLMs into text encoders It consists of 3 simple steps: 1) enabling bidirectional attention, 2) training with masked next token prediction, and 3) unsupervised contrastive learning
- LLM2Vec：释放大型语言模型的隐藏力量 - SO Development
LLM2Vec 是一个转换框架，旨在将笨重的 LLM 转换为紧凑、高保真的向量表示。 与传统的模型压缩技术（例如修剪或量化）不同，LLM2Vec 保留了 语境语义 原始模型，同时减少计算开销 10–100 倍
- 复现LLM2Vec的工作 - 知乎
LLM2Vec的核心工作在于如何 通过自监督的方式提升LLM的sentence embedding表征能力，并且 不丢失原本LLM的通用能力。 （1）论文首先将LLM的causal attention改成bidirectional attention（应用LLM的通用能力时用causal attention，表征sentence embedding时用bidirectional attention）；
- LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
LLM2Vec is a simple recipe to convert decoder-only LLMs into text encoders It consists of 3 simple steps: 1) enabling bidirectional attention, 2) training with masked next token prediction, and 3) unsupervised contrastive learning
|
|
|