中文科技资讯
业界资讯 互联网 手机资讯 电脑硬件 数码产品 家电产品 APP应用 手机游戏 美通快讯

稀宇科技MiniMax 01系列模型问世,参数量高达4560亿并开源

2025-01-15来源:ITBEAR编辑:瑞雪

稀宇科技(MiniMax)今日震撼发布其全新01系列模型,该系列涵盖了基础语言大模型MiniMax-Text-01与视觉多模态大模型MiniMax-VL-01,标志着公司在人工智能领域迈出了重要一步。

为了让开发者们更便捷地进行研究,MiniMax慷慨地将这两个模型的完整权重在Github上进行了开源。同时,公司透露,关于这两个模型的后续更新,包括代码和多模态相关的强化功能,将陆续上传,敬请期待。

01系列模型的一大亮点在于其首次大规模应用了线性注意力机制,成功打破了Transformer传统架构的记忆瓶颈。这意味着,该系列模型能够处理高达400万token的输入,其输入长度是GPT-4o的32倍,Claude-3.5-Sonnet的20倍,无疑为处理大规模数据提供了强有力的支持。

据透露,01系列模型的参数量惊人,高达4560亿,单次激活便可达459亿。在综合性能上,该系列模型已经与海外顶尖模型并驾齐驱,在大多数任务上成功追平了GPT-4o-1120和Claude-3.5-Sonnet-1022这两个海外公认的最先进模型。

在处理长文任务时,MiniMax-Text-01展现出了卓越的性能。随着输入长度的增加,其性能衰减幅度明显小于谷歌的Gemini模型。因此,01系列模型在处理长输入时效率极高,复杂度接近线性,为用户带来了前所未有的使用体验。

在定价方面,MiniMax也展现出了其亲民的一面。该系列模型的标准定价为输入1元/百万输入token,输出8元/百万输出token,相较于其他同类产品,性价比极高。

此次MiniMax推出的01系列模型,不仅展现了公司在人工智能技术上的深厚积累,更为广大开发者提供了强大的工具和支持。我们有理由相信,在MiniMax的推动下,人工智能领域将迎来更加广阔的发展前景。