2025年大模型研究系列：多模态大模型洞察大模型向多模态发展深入产业端垂直场景释放技术价值
通过不同策略构建多模态输入输出空间、设计对齐架构与训练策略、进行全面可靠评测，以及将输入输出扩展框架应用于具身智能场景，最终目标是构建具有一般性能力的世界基座模型
多模态大模型未来展望分析（将离散或连续模态表示与文本空间结合）
主流策略
构建混合空间：以连续形式整合模态信息，并与离散文本对齐。
统一离散表示：使用离散化的形式建模多种模态，确保生成与理解任务的统一处理。
优势对比
混合空间：在理解类任务上表现出色，但在多模态生成任务中支持有限。
统一离散表示：适配生成与理解任务，在理解任务上的效果略逊。
未来展望
学术社区正在积极探索更高效的模态表示方法和编码器，旨在兼顾生成和理解任务。
离散与连续模态表示的选择和优化目标密切相关，两者在设计思路和训练方法上存在互相借鉴和促进的可能性。
多模态大模型未来展望分析（设计模型架构与训练策略）
问题2：如何设计模型架构与训练策略，完成多模态输入输出空间的对齐？
模型架构
根据输入空间设计对应的输入端对齐模块，根据不同模态的输出形式设计输出对齐模块。
引入额外的内部模块，以更好地建模跨模态的交互。
训练策略
经历预训练和指令微调两个阶段，前者用于对齐多模态表示，后者学习多模态场景下的指令遵循能力。
根据应用和优化的目标选择和混合训练数据，确保数据的丰富度、质量和规模。
根据模型架构设定合适的参数，如可训练参数等。
挑战与机遇
模型架构的设计存在多种选择，且不同设计间存在tradeoff，需要通过实证性分析获取相对较优的设定。
训练策略的选择同样重要，需要平衡数据丰富度、质量和规模，以及模型架构的复杂性。