苹果公司近期为其多模态大模型MM推出了1.5版本，新版本在延续前代MM1数据驱动训练原则的基础上，着重研究了混合不同类型数据对模型性能的影响。相关模型文档已在Hugging Face上发布，并附有论文链接。
MM1.5版本提供了10亿至300亿多种参数规模的选择，具备图像识别和自然语言推理能力。苹果的研发团队在新版本中改进了数据混合策略，显著增强了模型在多文本图像理解、视觉引用与定位以及多图像推理方面的表现。
根据参考论文，苹果在MM1.5的持续预训练阶段引入了高质量的OCR数据和合成图像描述，大幅提升了模型对富含文本内容的图像的理解能力。研究团队还在监督式微调阶段分析了不同数据类型对模型性能的影响，并优化了视觉指令微调数据的混合方式，使模型实现了更高的效率，即便是小规模的模型（10亿、30亿参数版本）也能展现出优秀的性能。
苹果公司此次还推出了MM1.5-Video模型，专门用于视频理解，以及MM1.5-UI模型，专注于移动设备用户界面的理解。MM1.5-UI模型未来有望成为iOS背后的“苹果牌”AI，它能够处理各种视觉引用与定位任务，总结屏幕上的功能，或者通过对话与用户进行交互。
