阿里巴巴在人工智能领域的探索再次迈出重要一步。其Qwen团队继3月推出Qwen2.5-Omni-7B模型后，4月30日又发布了该系列的轻量版本——Qwen2.5-Omni-3B模型。目前，这一新版本已在Hugging Face平台上开放下载，供开发者和研究人员使用。
Qwen2.5-Omni-3B作为7B旗舰多模态模型的精简版，专为消费级硬件设计，旨在提供覆盖文本、音频、图像和视频等多种输入功能的强大性能。尽管参数规模有所缩减，但团队表示，3B版本在多模态性能上仍保持了7B模型90%以上的水平，尤其在实时文本生成和自然语音输出方面表现尤为突出。
基准测试数据显示，Qwen2.5-Omni-3B在视频理解和语音生成等任务中的表现接近7B模型。例如，在VideoBench视频理解测试中，3B版本取得了68.8的分数；在Seed-tts-eval语音生成测试中，其在hard难度下获得了92.1的高分。
值得注意的是，Qwen2.5-Omni-3B在内存使用上的优化尤为显著。在处理长达25,000 token的上下文输入时，该模型的VRAM占用减少了53%，从7B模型的60.2 GB降至28.2 GB。这意味着Qwen2.5-Omni-3B可以在配备24GB GPU的高端台式机和笔记本电脑上运行，无需依赖企业级GPU集群。
Qwen2.5-Omni-3B的架构创新也是其性能卓越的关键因素之一。该模型采用了Thinker-Talker设计和定制位置嵌入方法TMRoPE，确保了视频与音频输入的同步理解。它还支持FlashAttention 2和BF16精度优化，进一步提升了处理速度并降低了内存消耗。
然而，Qwen2.5-Omni-3B的使用也受到一定的限制。根据许可条款，该模型目前仅限于研究用途。企业若希望将其用于商业产品开发，必须先从阿里巴巴Qwen团队获得单独的许可。这意味着Qwen2.5-Omni-3B目前并不直接面向生产部署，而是更偏向于测试和原型开发阶段。
