中文科技资讯
业界资讯 互联网 手机资讯 电脑硬件 数码产品 家电产品 APP应用 手机游戏 美通快讯

Mamba团队新突破:无预训练仅76K参数模型跻身ARC-AGI前三

2025-12-17来源:快讯编辑:瑞雪

在人工智能研究领域,一项名为CompressARC的新成果引发了广泛关注。这项由Mamba团队核心成员Albert Gu指导、CMU博士生Isaac Liao主导的研究,通过颠覆传统训练范式,在通用智能测试基准ARC-AGI-1上取得突破性进展——仅用76K参数的未预训练模型,便在评估集中解决了20%的谜题。

与传统依赖海量数据预训练的模型不同,CompressARC开创性地采用"最小描述长度"(MDL)理论作为核心框架。该理论源于数学与计算机科学交叉领域,其核心思想认为:揭示现象本质规律的程序,往往具有最简洁的代码形式。研究团队将这一哲学转化为技术实践——通过构建能生成目标谜题的最短计算机程序,使模型在推理阶段自动学习隐含规则,而非被动记忆训练数据。

实验设计极具挑战性:模型仅能接触每个谜题的2个示例输入/输出对及1个测试输入,完全不依赖外部训练集。这种"单样本学习"模式,迫使系统必须从有限信息中抽象出通用规则。为解决程序搜索空间爆炸的难题,研究团队设计了包含固定运算流程的模板程序,将问题转化为寻找最优种子值和神经网络权重的优化过程。

技术实现层面,模型架构融合了多项创新:通过等变设计内置对旋转、翻转等几何变换的天然理解;采用多张量数据结构存储不同粒度的空间关系;核心运算模块包含专门设计的几何操作(如单像素平移)和拓扑操作(如累积最大值),这些无参数操作直接编码了对抽象推理任务的先验知识。整个网络仅76K参数,其中90%用于通道维度的线性投影,核心逻辑通过硬编码操作实现。

在优化算法上,研究团队借鉴变分自编码器原理,将程序长度最小化转化为可微分问题。通过同时最小化KL散度(控制随机噪声z的信息量)和交叉熵(衡量输出与真实谜题的匹配度),系统能在梯度下降过程中自动平衡规则复杂度与重构精度。这种设计使模型能用2000个推理步骤(约20分钟/谜题)完成训练,在评估集中达到20%的准确率,训练集准确率更高达34.75%。

对比现有方法,该成果具有显著差异:基于互联网数据预训练的o3模型虽在评估中取得88%的准确率,但其参数规模达数十亿级;同类未预训练神经网络的最高成绩为40.3%,但需接触整个ARC-AGI训练集。CompressARC的突破在于证明:通过压缩原理引导的智能涌现,可能成为通往通用人工智能的独立路径。

这项研究的核心基准ARC-AGI-1由GoogleAI研究员François Chollet于2019年提出,旨在评估AI处理未明确训练过的新问题的能力。该测试包含80个手工设计的抽象推理谜题,涵盖对象操作、模式识别、空间变换等认知任务,被学界视为衡量通用智能的核心标尺。CompressARC的成果,为破解这一挑战提供了全新视角。

研究团队负责人Isaac Liao的学术背景同样引人注目:这位MIT计算机科学与物理学双学位获得者,在CMU攻读博士期间专注于最小描述长度理论、变分推断等前沿领域。其导师Albert Gu作为Mamba架构的提出者,此次合作再次验证了跨学科研究在推动AI范式变革中的关键作用。

智元汇“AI+大数据”赋能 成都地铁13、30号线一期开通运营新体验
伴随着新线开通,成都城市轨道交通线网持续加密,为顺应大线网高密度运营管理需求,全面提升地铁运营智慧化管理水平,优化乘客进站乘车服务体验,由智元汇建设实施自动售检票、智慧安检及智慧乘客服务平台,深度融合人工智…

2025-12-17

苹果iOS 26.3首个测试版来袭 新增通知转发与转移至安卓功能
苹果刚刚发布 iOS 26.2 正式版,结果今天(12 月 26 日)凌晨,苹果又发布了 iOS 26.3 首个测试版,这更新节奏是真快。 首先,加入了「通知转发」功能,在手机的设置-通知界面中多了一个「通知…

2025-12-16

苹果年末再发力:iOS 26.3与iPadOS 26.3首个测试版已向开发者推送
【CNMO科技消息】近日,苹果公司向注册开发者正式推送了iOS 26.3和iPadOS26.3的首个测试版本,标志着这两个系统更新进入内部测试阶段。此次更新距离iOS 26.2与iPadOS 26.2正式版…

2025-12-16

vivo S50标准版深度评测:轻盈时尚外观下,全能实力如何惊艳日常?
从数码行业的视角来看,S50标准版依然是一台实力非常能打的主力机型:标准版却用上 Pro旗舰的工艺配置,旗舰级的材质与氛围感影像,灵感紫的独特色彩美学,加上6500mAh 大电池+骁龙8系SOC的性能续航…

2025-12-16

单模光纤跳线接口全解析:类型特点、选择建议与使用注意事项
主要用于长距离、高速率的通信传输,如骨干网络、数据中心等场景,其核心特点是采用9/125μm单模光纤,具备低衰减和优异传输性能。 兼容性:确保接口类型与光模块(如SFP、GBIC)匹配,例如SFP模块需搭配L…

2025-12-16

Windows系统防火墙关闭指南:Win10操作详解,Win7与Win11步骤相近
本文将详细介绍如何在Windows10系统中关闭防火墙,同时简要概述Windows7和Windows11系统中的相似操作。你可以在系统设置中找到“隐私与安全”选项,在其中选择“WindowsDefender防…

2025-12-16