中文科技资讯
业界资讯 互联网 手机资讯 电脑硬件 数码产品 家电产品 APP应用 手机游戏 美通快讯

Meta发布Llama 4系列AI,混合专家架构能否助其效率飙升?

2025-04-06来源:ITBEAR编辑:瑞雪

meta近期推出了其最新的Llama 4系列AI模型,这一系列包括了Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth三款模型。据meta透露,这些模型均经过了庞大的未标注文本、图像和视频数据的训练,旨在赋予它们广泛的视觉理解能力。

目前,meta已将Scout和Maverick两款模型上架至Hugging Face平台。而Behemoth模型仍在紧锣密鼓的训练中。Scout模型能够在单个英伟达H100 GPU上运行,而Maverick则需要更高配置的英伟达H100 DGX AI平台或性能相当的设备。

值得注意的是,Llama 4系列是meta首次采用混合专家(MoE)架构的模型。这种架构通过将数据处理任务分解为多个子任务,再将这些子任务分配给更小的、专门化的“专家”模型,从而在训练和回答用户查询时展现出更高的效率。例如,Maverick模型拥有4000亿个参数,但在128个“专家”模型中,只有170亿个参数处于活跃状态。

相比之下,Scout模型拥有170亿个活跃参数,分布在16个“专家”模型中,总参数数为1090亿个。尽管Llama 4系列模型在性能上有所提升,但它们并非像OpenAI的o1和o3-mini那样的“推理模型”。推理模型会对答案进行事实核查,通常能更可靠地回答问题,但响应时间相对较长。

meta内部测试显示,Maverick模型在通用AI助手和聊天等应用场景中表现出色,尤其在创意写作、代码生成、翻译、推理、长文本上下文总结和图像基准测试等方面,其性能超过了OpenAI的GPT-4和谷歌的Gemini 2.0等模型。然而,与谷歌的Gemini 2.5 Pro、Anthropic的Claude 3.7 Sonnet和OpenAI的GPT-4.5等更强大的最新模型相比,Maverick仍有一定的提升空间。

Scout模型则擅长总结文档和基于大型代码库进行推理。该模型支持处理1000万个词元,这意味着它一次能够处理数百万字的文本。meta还预告了其Behemoth模型。据透露,Behemoth拥有2880亿个活跃参数,分布在16个“专家”模型中,总参数数接近2万亿个。meta内部基准测试显示,在一些衡量解决数学问题等科学、技术、工程和数学(STEM)技能的评估中,Behemoth的表现优于GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro,但略逊于Gemini 2.5 Pro。

技嘉B860M冰雕主板深度评测:千元价位与酷睿Ultra的完美搭档
XMP AI Boost的DDR5-8200 CL40挡位也能够顺利开启,再叠加上高带宽、低延迟功能的性能加成之后,内存性能继续得到提升,但写入性能基本上是到顶了,主要是受限于B860芯片组主板无法调整CP…

2025-11-14

杭州上城第三批50个“人工智能+”场景发布 涵盖多领域促发展
11月13日,杭州市上城区第三批“人工智能+”机会场景发布会暨场景供需对接会活动举行,推出50个高价值场景,涵盖社会治理、金融服务、民生服务、城市管理、智能建造、文化旅游、时尚消费等多个热门领域。如,由上城…

2025-11-14

高光谱探测器助力宽带叠层扫描成像 开启3D高光谱成像新篇
最近的研究表明,能量分辨或高光谱探测器可以在某种程度上取代单色器的作用来执行,例如,在单次采集中使用宽带辐射进行边缘减影叠层扫描成像。利用这样的探测器,时间相干性变得可调(在探测器的能量分辨率的限制内)并且在…

2025-11-12

乐鑫年会背后:17年创新坚守,从芯片到生态开启万物互联新征程
重要的是早在2024年,乐鑫科技就已成功突破Wi-Fi 6E技术,完成2.4GHz/5GHz/6GHz全频段技术布局,为Wi-Fi7产品研发奠定核心技术基础。 乐鑫从单枪匹马的上海浦东到登录科创板的行业排…

2025-11-12

中国电信携手多方完成2万公里中轨NTN在轨验证 助力6G天地一体组网
试验配置 Ka 频段 100MHz 带宽,基于自研的 NTN 终端样机,完成 FR2 频段 n510参数配置的透明转发模式在轨通信技术验证及海域宽带应用试点,实测下行峰值速率达 140Mbps(IT之家注…

2025-11-11

湖北Steam Deck下载遇阻?连接超时不用慌,这些方法助你畅享游戏
下载并安装UU加速器打开UU加速器,搜索并选择"Steam"在加速选项中,特别选择"下载异常专用"区服启动加速后再打开Steam Deck进行下载许多湖北用户反馈,使用这种方式后,原本停滞的下载进度条重新开…

2025-11-11

毕马威进博会聚焦运营服务:以智能驱动,助企业迈向可持续增长新路
毕马威运营服务四大核心价值运营重塑(Operational Reinvention)不只是把流程自动化,而是让智能成为业务的一部分。 在复杂监管中确保透明与合规在多业务场景中提升客户体验与决策质量在跨职能协作…

2025-11-11

解码细胞“对话”密码:单细胞转录组技术洞察疾病微环境奥秘
3. 通讯潜力: 如果细胞A表达配体,同时细胞B表达匹配的受体,那么A to B 的信号通路就被认为具有潜在的通讯活性。如果发现成纤维细胞通过TGF-β 信号轴强烈抑制 NK 细胞,那么 TGF-β 阻断…

2025-11-11

2025年AI智能鼠标深度体验:星火大模型赋能,它能替代哪些办公工具?
AI智能鼠标2025深度测评:星火大模型加持,AI问答、AI绘图能替代哪些工具?当一款鼠标,内嵌了如科大讯飞星火这般强大的认知大模型时,它所带来的,远不止是光标移动的流畅,更是一场关于效率与创造力的革命。我们…

2025-11-10