当人工智能（AI）开始具备自主“进化”能力，人类在技术发展中的角色或将被重新定义。近日，Google DeepMind团队在权威科学期刊《自然》上发表了一项突破性研究，提出了一种名为DiscoRL的全新方法，使智能体（Agent）能够在多环境交互中自主发现强化学习（RL）规则，无需依赖人类设计的算法。实验表明，该方法在Atari游戏基准测试中超越了MuZero等主流RL算法，并在未见过的环境中展现出高效稳定的性能。
强化学习是AI实现自主决策的核心技术之一，但长期以来，如何让智能体自主开发高效的RL算法一直是研究难点。传统方法依赖人类专家设计算法，不仅耗时费力，且难以适应复杂多变的环境。DeepMind团队提出的DiscoRL通过多代智能体在不同环境中的交互经验，实现了RL规则的自主发现。其核心在于结合智能体优化与元优化：智能体通过更新策略和预测优化自身参数，元网络则通过调整学习规则的目标，最大化智能体的累积奖励。
具体而言，智能体的训练过程涉及两类优化：在智能体优化阶段，研究团队采用Kullback–Leibler散度衡量策略与预测的差距，确保训练稳定性。智能体会输出策略（π）、观测预测（y）、动作预测（z）等结果，元网络为其生成学习目标，智能体据此更新自身参数。同时，模型引入辅助损失函数，优化动作价值与策略预测，提升学习效率。在元优化阶段，多个智能体在不同环境中独立学习，元网络根据整体表现计算元梯度，调整自身参数以最大化累积回报。智能体参数定期重置，使学习规则能在有限时间内快速提升性能。
为验证DiscoRL的有效性，研究团队以四分位数平均值（IQM）作为综合性能指标，在Atari基准测试中进行了评估。基于57款Atari游戏训练的Disco57规则，在相同游戏中的IQM得分达13.86，超越了MuZero、Dreamer等现有算法，且在实际运行效率上显著优于MuZero。进一步测试显示，Disco57在16个ProcGen二维游戏、Crafter基准测试中均表现出色，并在NetHack NeurIPS 2021挑战赛中获得第三名，且未使用任何领域特定知识。
研究还发现，环境复杂性与多样性对RL规则的泛化能力具有关键影响。基于Atari、ProcGen和DMLab-30三个基准（共103个环境）发现的Disco103规则，在Crafter基准上达到人类水平表现，并在Sokoban任务中接近MuZero的最先进性能。这表明，参与训练的环境越复杂多样，所发现的RL规则越强大，即使面对未见过的环境也能保持高效。
在效率与稳定性方面，DiscoRL同样表现突出。最优版本的Disco57规则在每个Atari游戏约6亿步内被发现，相当于在57个游戏中进行3轮实验，远低于传统人工设计算法所需的实验次数和人力投入。随着训练环境数量增加，DiscoRL在未见过的ProcGen基准上的性能持续提升，显示出强大的扩展性。
DeepMind团队指出，未来高级AI的RL算法设计可能由机器主导，通过高效扩展数据与计算能力实现自动化，无需人类干预。这一突破虽为学术领域带来新潜力，但也引发了对技术社会影响的担忧——当前社会尚未完全准备好应对此类技术的广泛应用。
