近日，人工智能领域迎来了一项新的安全创新。为了应对人工智能工具滥用自然语言提示的问题，OpenAI的竞争对手Anthropic推出了一项名为“宪法分类器”的全新概念。这一创新方法旨在将一套类似人类价值观的规则（形象地比喻为一部“宪法”）嵌入大型语言模型中。
据悉，Anthropic的安全保障研究团队在一篇最新的学术论文中详细阐述了这一安全措施。该措施的主要目标是减少其最新、最先进的大型语言模型Claude 3.5 Sonnet的“越狱”行为，即生成超出既定安全防护范围的输出内容。实验结果显示，在实施宪法分类器后，Claude模型的越狱成功率显著降低了81.6%，而该系统对模型性能的影响微乎其微，生产流量拒绝率仅绝对增加了0.38%，推理开销增加了23.7%。
随着大型语言模型的应用日益广泛，生成有害内容的风险也日益凸显。Anthropic及其同行如OpenAI等，对化学、生物、放射和核（CBRN）相关内容的风险尤为关注。例如，这些模型可能会提供制造有害化学制剂的指导。为了验证宪法分类器的有效性，Anthropic发起了一项挑战，邀请用户尝试突破8个与CBRN内容相关的越狱关卡。然而，这一举措也引发了一些争议，有批评者认为这是在利用社区资源为闭源模型的安全测试做贡献。
针对这些争议，Anthropic进行了解释。他们指出，成功的越狱行为是绕过了宪法分类器，而非直接规避。他们列举了两种常见的越狱方法：一种是良性释义，即通过改变表述方式绕过敏感内容；另一种是长度利用，即通过添加无关细节来迷惑模型。同时，Anthropic也承认，在测试期间，一些提示因误报或漏报而被错误地拒绝，拒绝率较高。
Anthropic进一步补充说，尽管已知对没有宪法分类器的模型有效的越狱方法在这一防御措施下并未成功，但他们仍在不断改进和完善这一系统。他们认识到，基于规则的测试系统存在局限性，并致力于提高系统的准确性和可靠性。这一创新不仅为大型语言模型的安全性提供了新的解决方案，也为人工智能领域的未来发展开辟了新的方向。
