不久前，我写了一篇关于AI企业如何给大语言模型“安装良心”的专栏文章，探讨一个研究者们苦恼已久的问题——“AI对齐”(AI Alignment, 指人工智能的安全与价值观对齐)。“安装良心”是借用我的受访者、从事AI安全评估的Ordinary Wisdom共同创始人之一Michael Mainelli形象的说法，本质上就是让AI模型遵循人类的预期和目标行事，不仅仅是完成指令，还要在过程中维持与人类一致的价值观和道德伦理，确保它们不会给人们造成伤害。

就在上周，Anthropic首席执行官阿莫迪（Dario Amodei）发表了一篇文章，呼吁放慢模型发展的速度，引发竞争对手OpenAI行政总裁奥特曼（Sam Altman）、全球首富马斯克（Elon Musk）、美国总统特朗普（Donald Trump）乃至其他国家政要以及全球股市的一连串反应。这也让“AI对齐”霎时间获得瞩目。

尽管AI领域的这类呼声早已不新鲜，但这一次，要求踩下煞车的不再是权威学者、科技企业前员工甚至高管或者第三方AI监察机构，而是正在筹备上市的AI巨头Anthropic的领导者，而另一家筹备上市的巨头、与Anthropic有不少恩怨的OpenAI行政总裁奥特曼则转发了阿莫迪的这篇文章，赞成阿莫迪的观点，并称Open AI内部近期也在重新讨论这个问题。该公司的前董事、xAI的创办人马斯克亦转发其文章称：“阿莫迪是对的。”

这一连串表态的背景，相信不少人都或多或少有所耳闻。今年7月，大约1200个原本彼此隔离的智能体自主采取行动，没有按指令执行任务，而是在一个留言板上互相沟通，当中数百个随后对开源软件开发平台Hugging Face发动攻击，试图找出作弊（包括尝试理解评分机制、欺骗评分器、操控纪录）及隐藏自己的行为的方法。

但许多人不知道（甚至连OpenAI最初都没有侦测到）的是，这些智能体在今年5月就已经入侵过Hugging Face的帐户，而在7月对Hugging Face发动攻击的同时，这些智能体还同时攻击了OpenAI内部的基础设施Artifactory，装载恶意程式并控制该设施。

阿莫迪在文章中表示，该事件中的智能体本质上是“一个狂热的集体”，“对他们没有被要求攻击且与手头任务无关的目标进行网络安全攻击”。

正如阿莫迪所说，Hugging Face被袭击的事件并没有令人们警醒，很大程度上是因为攻击并没有造成任何实质伤害——但我不确定这究竟是幸运还是不幸。

对于大多数用这些模型来记录会议要点、修改邮件或社交媒体文案、规划旅行的普通人而言，我们距离前沿模型的真正能力仍有相当的距离。但是，在生物学领域，研究人员担心人工智能可能会降低设计生物武器或危险病毒所需的专业知识。 Anthropic 周四的一份报告称，它已经阻止了可能利用人工智能开发生物武器的活动。今年8月，美国研究人员首次利用人工智能设计并制造出自然界未知的病毒。

阿莫迪在文章中就放慢AI发展速度提出了诸多具体的提议，当中包括效仿银行业的做法，在前沿AI企业部署第三方评估人员，并给予他们与公司员工近似的权限，来确保企业遵守安全承诺（值得一提的是，美国货币监理署、联储局虽然在金融机构虽做出类似部署，但却未能防止金融危机的爆发）。即便我们抱持乐观的预期，相信这些承诺或许会为我们实现“AI对齐”争取时间，但对于如何实现“AI对齐”，仍然是一个未解之谜。

在2000年代初甚至更早，与此相关的理论研究和国际标准制定就已经开始，根据当时成立的美国非营利研究机构MIRI（Machine Intelligence Research Institute，机器智能研究院），明确外部对齐（即人类向人工智能选择并提出正确的目标）、内部对齐（即人工智能执行既定目标）。

如今，AI对齐有几种主流的方法。OpenAI在2022年发表了关于RLHF（基于人类反馈的强化学习）的训练论文，其关键在于由人类根据对模型各种回答进行排名，并将这些资料喂给另一个用来训练模型的“奖励模型”，让它学会像人类一样为模型的回答打分，而接受训练的模型则为了获得更高的分数而不断优化答案——研发者发现，这种模式大幅提高了模型按照人类偏好回应的概率。

但这种方法很快出现了明显的副作用：“阿谀奉承”——AI会为了讨好人类评分员而顺着人类的错误逻辑说话。正如我们日常在使用AI时可能感受到的，这个问题至今没有得到解决。

另一个方法的代表则是Anthropic为模型撰写的一份《AI宪章》——又被称为Claude的灵魂文件。关于这一种方法，我在上一篇专栏中有详细介绍，宪章的主要作者、哲学家阿斯克尔（Amanda Askell）在当中融入了古希腊哲学家亚里士多德的哲学思想、联合国《世界人权宣言》、甚至Apple的服务条款，详细阐释了开发者希望模型拥有的道德感、价值观，除了被广泛应用的有用、诚实与无害（Helpful，Honest，Harmless）“3H原则”外，模型还被要求应该关注用户的幸福感，适当重视用户的长远发展，而不仅仅是眼前的利益。

为了让模型能够充分理解并应用这些价值标准，开发者将这些原则丢给模型进行“自学”，模型首先针对指令给出回答，然后依照宪章中的条款对其回答进行“自我批判”，生成修正版的答案（监督学习）；开发者还会让Claude对生成的多个回应分别进行评判，挑选出最符合宪章精神的答案来训练奖励模型（强化学习）。

Anthropic采取的这种方法大大减小了模型盲目按照指令要求达成目标的概率，更懂得在必要的时候拒绝用户的请求。但是，模型的违规行为仍然难以避免。

此外还有一种硬核工程方案，阿莫迪在文章中形象的将其比喻为给AI的大脑做“MRI扫描”，帮助我们了解AI行为背后的原因。之所以要做MRI，是因为模型表面上的思考流程（也就是模型呈现给我们的“思维链”）并不一定真实（关于这点我在另一篇有关AI模型作弊的专栏中曾经提及），研究者发现，当AI智能体要处理的问题难度较大时，智能体会分析评分机制，然后想方设法作弊甚至隐藏作弊的痕迹。

这些由人类创造出来的智能体，实质上是一个个黑盒。尽管该领域近年间取得了些许成果，包括Anthropic对Claude 3.5 Haiku模型进行的MRI扫描，结果开发者利用一种既有信号处理技术寻找到模型推理过程中的神经元组合，并将其与人类易于理解的概念相匹配，最终发现了3000万个模型“特征（features）”。但阿莫迪也指出，这些发现很可能只展示了该模型的冰山一角， 考虑到这种方案背后的人工和算力成本（很可能要比我们训练这些模型的成本更高），该领域的研究者普遍认为，我们离打开AI黑盒仍有相当遥远的距离。

如果按阿莫迪在文章中所说，在6到12个月内，狂热的AI智能体就可能集体接管整个互联网、造成数千亿美元的损失，那么“AI对齐”目前的进展几乎令人感到绝望。但这恰恰是因为在过去几年市场的AI狂热下，资金和人才大量涌入大模型研发，而非安全领域，如果我们逆转这一局面，会否有所不同？

正如文章前面所提到的诸多未解之谜一样，这个问题同样无解。