叶文瀚博士专栏

40多年前，人类其实已经有过一次非常接近“P(doom)”（AI界的末日机率）的时刻。当时没有ChatGPT，没有生成式AI，甚至连今天我们习以为常的互联网也不存在，但人类曾经因为一套预警系统的错误讯号，差点走到核战争的悬崖边。每逢9月26日，笔者总会想起那场差点改写人类命运的危机，以及当时作出关键判断的苏联军官斯坦尼斯拉夫．彼得罗夫（Stanislav Petrov）。

对大多数香港人而言，彼得罗夫这个名字或许相当陌生，但今天当科技界愈来愈热烈讨论人工智能的“P(doom)”，即AI最终导致人类文明遭遇灾难甚至灭绝的可能性时，他的故事反而比任何一个未来预测都更加值得我们重新思考。

一个错误警报，差点改写历史

1983年9月26日，正值冷战最紧张的年代。彼得罗夫当时在苏联核预警指挥中心当值，突然之间，警报响起，电脑系统显示美国向苏联发射了洲际弹道导弹，警报其后更显示有多枚导弹正在来袭。按照当时的军事程序，彼得罗夫应该立即向上级报告，由军方高层再向苏联最高领导层汇报，并作出是否核反击的判断。当时从导弹发射到抵达苏联，可能只有短短十多分钟，根本没有太多时间可以慢慢思考。

换句话说，如果彼得罗夫把警报当成真的，整个决策链便可能被启动，而苏联一旦作出核反击，美苏之间便可能迅速滑向一场谁也无法收拾的核战争。第三次世界大战是否真的一定会发生，历史当然无法证明，但当时距离一场灾难性的核冲突，确实可能只隔着一个错误判断。

然而，彼得罗夫没有立即相信电脑。他冷静分析后认为，如果美国真的决定发动核攻击，单靠几枚导弹似乎并不合理；而且当时的卫星预警系统仍然相对新，出现技术故障并非没有可能。他最终判断这是一场误报，而不是立即按照程序升级事件。后来调查证实，他的判断是正确的，卫星把阳光经云层反射形成的光线，误认为美国发射的导弹。

今天回头看，我们知道彼得罗夫是对的，但在当时那一刻，他根本不知道答案。他面对的不是一道已经知道结果的选择题，而是一个可能牵涉数以亿计生命的决定。萤幕上的数据告诉他“导弹来了”，既定程序告诉他“应该上报”，但他仍然选择停下来，怀疑眼前的答案。

AI愈聪明，人类会否愈不敢怀疑？

40多年后，这个问题突然变得非常熟悉。今天的人工智能比当年的核预警系统强大得多，可以在几秒甚至几毫秒内处理大量数据，并逐渐进入金融交易、医疗分析、招聘、交通管理、企业决策，以至军事应用。当机器处理资讯的速度远远超越人类，我们很容易产生一种直觉，认为既然机器计得更快，答案自然也应该比人更可靠。

但速度不等于判断力，数据亦不等于真相。AI可以分析海量资讯，却未必知道输入本身是否出了问题；可以按照程序作出决定，却未必知道甚么时候应该停止执行。真正值得警惕的，甚至未必是机器突然失控，而是机器看起来一切正常，所有数据、模型和程序都告诉我们同一个答案，于是人类慢慢失去怀疑的习惯。

这也是近年P(doom)讨论最值得我们思考的地方。究竟AI导致人类文明遭遇极端灾难的可能性是多少，科技界并没有一个公认答案，有人认为风险不能低估，也有人认为最坏情境仍然距离现实很远。与其执着于P(doom)究竟是百分之几，或许更值得问的是，如果AI有一天真的作出一个足以造成巨大后果的错误判断，人类还有没有能力说一句：“等等，这可能不是真的？”

救了世界，却没有英雄待遇

更讽刺的是，彼得罗夫后来并没有得到一个拯救世界的英雄应有的待遇。事件曝光后，他反而因为当晚没有按照要求完整记录事件而受到斥责，翌年更离开军队。多年来，他一直过着相当低调的生活，直到1998年一名前苏联导弹防御高层在回忆录中提及事件，他的故事才逐渐为世人所知。

这个结局其实比“英雄拯救世界”更加值得我们思考。因为彼得罗夫真正做的，是在制度要求他相信系统的时候，选择相信自己的判断；而制度后来所追究的，却只是他没有把程序做得足够完整。他没有得到国家的英雄勋章，反而背负着官方斥责，直到多年后，外界才重新认识到他当年的决定有多重要。

这并不代表我们应该害怕AI，更不是说人类应该拒绝科技。AI将会成为未来经济和社会的重要基础，而真正需要建立的，是一套让人与AI各司其职的安全机制。机器可以负责速度、计算和大量资讯处理，但涉及生命、安全、战争、金融市场及重大公共利益的决策，人类仍然需要保留最终的判断权和责任。

彼得罗夫最值得我们记住的地方，也不是他比电脑聪明，而是他敢于怀疑电脑。他知道自己可能错，也知道如果自己判断错误，后果可能非常严重，但在所有程序都催促他作出反应的时候，他仍然选择停下来思考。这种批判性思维，以及在巨大压力下作出独立判断的勇气，可能正是AI时代最需要保留的人性。

每年的9月26日，笔者都会想起彼得罗夫。40多年前，人类差点因为一个系统误报而走向无法挽回的道路；今天，我们则正在把愈来愈多判断交给人工智能。两者当然不能完全相提并论，但其中一个提醒却非常清楚：科技可以替我们计算，却不能替我们承担后果；AI可以提供答案，但人类不能因此放弃怀疑答案的能力。

AI的P(doom)究竟有多高，或许永远没有人能够准确计算。但40多年前，拯救人类的不是一部更先进的电脑，而是一个愿意在电脑说“是”的时候，停下来问一句“真的吗？”的人。当我们愈来愈依赖AI，这个问题，可能比任何一个P(doom)数字都更加值得记住。

作者叶文瀚博士是圣方济各大学创业培育中心副总监，亚洲行销科技协会主席。

文章仅属作者意见，不代表香港01立场。

01专栏精选不同范畴专家，丰富公共舆论场域，鼓励更多维度思考。