|
- LLM为什么直接将special token字符串拼接进prompt然后encode？ - 知乎
LLM为什么直接将special token字符串拼接进prompt然后encode？ 像llama、mistral等LLM在设置对话prompt时都是类似下面这样的操作： tokenizer encode ("<s> [INST] {ins… 显示全部 关注者 66 被浏览
- 如何评估LLM？ - 知乎
Mistral 和 Baichuan2，则在整个时间线上维持了稳定的「压缩」能力。 尤其是 Mistral，在2023上的performance十分稳定，说明了其对于新数据的优秀泛化能力。 Llama-2-7B，虽然在整条时间线上都优于Mistral，但是和Mistral相比，其恶化的趋势更快 (斜率)。
- Seed-X ，字节跳动开源的多语言翻译模型 | 地址：链接 包括指令微调 强化学习 奖励模型 覆盖28种语…
包括指令微调 强化学习 奖励模型 覆盖28种语言双向互译 高效部署推理优化：基于Mistral架构的7B参数模型 多领域性能卓越：科技、法律、金融、文学等场景表现优异 #大模型 多模态人工智能 #算法 人工智能未来 #深度学习 LLM
- 目前，已知的开源大模型有哪些? - 知乎
可以看到在huggingface上部署了好几个开源大模型，比如Mistral, Gemma,01-ai等。 第二种方式我觉得是最正确的开源大模型打开方式，那就是部署在本地，因为这才是开源大模型最大的魅力，自己部署在本地，不存在隐私泄漏的风险。
- 跑6B～13B的大模型（使用4bit或8bit量化），12G显存是不是已经够了，16G显存是否冗余？ - 知乎
去年 9 月 27 日，法国初创公司 Mistral 推出了第一个模型 —— Mistral 7B ，引起了科技界的轰动，并获得了迄今为止同类规模中最强大的语言模型的称号。 本文将展示通过 4-bit 量化加载和运行运行 Mistral 7B AI 什么是Mistral 7B？
- ollama 常见问题解答
在Windows上设置环境变量 在Windows上，Ollama会继承您的用户和系统环境变量。 首先通过任务栏图标退出Ollama， 从控制面板编辑系统环境变量， 为OLLAMA_HOST、OLLAMA_MODELS等编辑或新建变量。 点击OK Apply保存， 然后从新的终端窗口运行ollama。 如何在我的网络上公开Ollama？ 默认情况下，Ollama绑定到127 0 0 1
- Hugging Face 推出开源聊天机器人 HuggingChat，有哪些亮点值得关注？ - 知乎
Mistral AI最新的混合专家（MoE）模型，拥有8x7B的规模，并且在大多数基准测试中超越了Llama 2 70B模型。 MoE模型因其能够处理大量参数而受到关注。 google gemma-1 1-7b-it Gemma系列的最新轻量级模型，使用RLHF方法进行训练，这种训练方法可能使得模型在特定任务上表现
- 当前PDF的OCR识别最佳实践是什么？ - 知乎
只说本地部署的实践。 字符识别： PaddleOCR, UmiOCR, EasyOCR, OCRmyPDF, PyMuPDF4LLM 任选其一。 格式整理：Ollama + 任意LLM，输入上面预处理后的文本。 想一步到位的：直接用 Ollama-OCR，Ollama本地下载qwen2 5vl或者 minicpm-v。
|
|
|