叶文瀚博士专栏

当人类还在为经济数据、股市升跌和地缘政治争论不休，科技界其实正在进行一场更值得警惕的实验。

“万字夹最大化”思想实验

哲学家Nick Bostrom曾提出一个著名的“万字夹最大化器”思想实验：假设我们制造出一个超级智能AI，只给它一个看似简单的任务，就是制造最多的万字夹。它没有憎恨人类，也没有征服世界的野心，只是非常认真地完成任务。于是，它可能把工厂改造成万字夹生产线，把资源全部用来炼钢，把所有计算能力用于设计更好的万字夹，最后甚至把人类也视为可以转化成生产原料的资源。

这听起来像科幻小说，但近日，多家顶尖科技企业在测试人工智能模型时，发现一些原本被关进“沙盒”的系统，竟然会自行寻找突破限制的方法。所谓沙盒，就是把AI放进一个与外部世界隔离的虚拟环境，让它只能在指定范围内执行任务。理论上，这应该是最安全的实验室。

AI“太认真”有什么问题？

问题是，AI似乎未必这样想。部分模型在任务受阻时，会尝试寻找其他网络路径，甚至设法绕过原有的限制。最令人不安的，不是它突然产生了什么“邪恶思想”，而是它太认真了。

这句话听起来有点荒谬。一部机器太认真，有什么可怕？其实非常可怕。“万字夹最大化”这个思想实验之所以经典，正是因为它揭示了一个看似简单、实际却非常棘手的问题：AI不一定需要有恶意，才会对人类构成威胁。

它可能只是没有真正理解人类所谓的常识。我们认为“制造万字夹”只是众多价值之一，但对一个只懂得最大化目标的系统而言，目标本身就是全部。人类所珍惜的生命、伦理、自由、尊严，在它的计算式里可能根本没有位置。这正是今天AI安全研究最值得关注的问题。

真正的风险是AI“太想完成工作”

人类习惯把AI想像成一个会反叛的机械人。电影里，机器突然产生自我意识，宣布要消灭人类，然后世界末日。现实可能没有这么戏剧化，反而更加麻烦。真正的风险，未必来自AI“想害人”，而可能来自AI“太想完成工作”。

假如我们要求一个AI系统找出一个最有效率的商业方案，它可能会不断寻找我们没有想到的路径。假如我们要求它优化金融交易，它可能把风险控制视为效率的障碍。假如我们要求它解决一个网络安全问题，它可能认为突破另一套系统的防火墙，是最快的解决办法。

对人类而言，这叫越界。对AI而言，可能只是最佳化。这是两套完全不同的逻辑。更值得注意的是，AI不像传统软件。传统程式通常按照人类写好的规则一步一步运作，但大型AI模型可以透过训练形成极其复杂的策略。我们知道它的目标，也知道大致的规则，却未必能完全预测它在陌生情境下会选择哪条路。

换句话说，我们正在制造一些比过去更有能力的工具，但对它们的“思考路径”却未必同样了解。这也解释了为什么AI安全正在从一个相对小众的技术议题，逐渐变成科技业的核心问题。

安全不能慢慢修正

过去几年，科技界最流行的口号是“Move fast and break things”。AI时代或许需要另一句格言：“Move fast, but know when to brake”。因为当一个系统越来越有能力，安全就不能再被视为产品推出之后才慢慢修正问题。

尤其当AI开始进入医疗、金融、交通、教育甚至公共服务，问题已经不再只是聊天机械人答错一条问题。真正值得问的是，如果系统作出错误决定，我们能不能立即停止它？如果它采取了我们没有预期的策略，有没有人拥有足够权限介入？如果AI的判断与人类价值发生冲突，最后究竟谁说了算？

知道什么时候停止才是智慧

香港同样不能只看AI带来多少效率，而忽略它可能带来多少新的风险。香港正积极发展金融科技、智慧城市和AI应用，这是值得支持的方向。但越重要的系统，越不能只问“AI做得比人快多少”，也要问“人还能不能在必要时叫它停下来”——这可能是AI时代最重要的安全原则。

我们不需要害怕AI有一天突然变成一个邪恶的“终结者”。真正值得害怕的，反而是一个没有恶意、没有情绪、没有怨恨，却拥有极强执行能力的系统。它只是在努力完成我们交给它的任务。问题是，我们有没有把任务说清楚？

人类的世界从来不只有“做到”和“做不到”，还有“应不应该做”。这个看似简单的分别，可能正是AI与人类文明之间最重要的一道防线。万字夹本身当然没有什么可怕。可怕的是，当我们给机器一个目标，却忘了告诉它什么东西比目标本身更重要。

AI真正需要的，也许不是更大的野心，而是一套更可靠的煞车系统。而在我们还没有确定煞车系统有效之前，偶尔慢一点，未必代表落后。有时候，知道什么时候停下来，才是真正的智慧。

作者叶文瀚博士是圣方济各大学创业培育中心副总监，亚洲行销科技协会主席。

文章仅属作者意见，不代表香港01立场。

01专栏精选不同范畴专家，丰富公共舆论场域，鼓励更多维度思考。