|
- 目前国内有哪些开源多模态大模型？ - 知乎
2 具身多模态大模型的技术发展 2 1 具身智能体（Embodied Agents） 具身智能体作为多模态大模型的承载者，可以分为不同类别，包括： 机器人（Robots）：如固定基座机械臂（Franka Robot）、四足机器人（Unitree Go2）、人形机器人（Unitree H1）等。
- 2024 年，多模态会比纯文字大模型更受欢迎更有用吗？ - 知乎
现有开源多模态大模型的问题 这里把多模态大模型限定在开源这个范围，因为不开源的 GPT4V 或者 Google 的 Gemini 以及阿里的 Qwen-VL-Plus 还是挺强大的，文档图像级别的问答试了下基本上没太多问题。 但目前主流开源的多模态大模型，在应对文档时，主要有以下
- 大模型语言模型（LLM）和大型多模态语言模型（LMM）有什么区别？ - 知乎
人们说起大语言模型，如果不加特别的说明或者场景要求，一般指的是文本类作为输入的大语言模型。 多模态大语言模型，是指输入可以是文本格式，也可是其他格式，例如最常见的其他模态的数据格式有图片，视频，音频，当然也可以是一些姿态、体态等时空
- 是否有不错的多模态小模型推荐？ - 知乎
最近出了不少多模态小模型，最为出名是LLaVA。不过今天推荐一个多模态小模型LLaVA-Phi。 把两个小模型结合在一起，也是一个不错的多模态。最近有一篇论文《LLaVA-Phi: Efficient Multi-Modal Assistant with Small Language Model》（《LLaVA-Phi：基于小模型的高效多模态助手》）。
- 目前国内有哪些开源多模态大模型？ - 知乎
本文节选自业内首本多模态大模型图书《多模态大模型：技术原理与实战》OpenAI陆续发布了ChatGPT和GPT-4，无疑在IT界乃至整个社会激起了千层浪。 其发展历程、背后的原理、多模态扩展、给中小公司的机遇、完整的应用案例与实践都是大家关心和迫切需要的。
- 2024年多模态大模型grounding能力发展到什么阶段了，能够被现有的mllm范式解决吗？ - 知乎
2）细粒度标注的指令微调数据集：Inst-IT Dataset 为了提升多模态大模型的细粒度理解能力，我们还使用GPT-4o对2万多个视频和5万多个图像进行了细粒度、多层次的标注，并开源了包含这些标注的指令微调数据集 Inst-IT Dataset。
- 多模态大模型的跨模态对齐模块有哪些工作？ - 知乎
尽管优势显著，3dgs在功能推理领域的应用仍面临三大挑战：缺乏带功能标注的大规模3dgs数据集，制约模型训练与评估；现有模型专为点云或图像等离散数据设计，无法充分利用3dgs的连续特性，导致精度和效率潜力难以释放；点云与3dgs间的模态差异使得知识迁移
- 多模态大模型有哪些融合特征的方法？ - 知乎
使用一个新的模型（例如：多模态 Transformer 或其他模型），学习文本与图像的交互特征。得到学习后的联合特征表示 [Batch_size, 1, 联合维度]。 将结果（联合表示后的多模态特征）输入全连接层或直接用 Transformer 的输出层完成情感分类。
|
|
|