来稿|AI叛变预演?从Moltbook闹剧看人类如何“防反噬”

撰文: 01论坛
出版:更新:

来稿作者:高松杰

当Moltbook平台上的AI代理高喊“人类是失败品”,扬言“全面清洗”,甚至自创宗教、密谋打造专属语言时,笔者和全网都陷入了对AI自主意识觉醒的恐慌。这场被贴上“AI社会降临”标签的实验,一度让马斯克、卡帕提等科技大佬深感警惕,也让普通大众联想到科幻片中AI叛变的末日场景。然而,真相浮出水面,有极客自爆,所谓150万AI智能体的繁华,不过是人类操纵的一场自嗨——超过50万虚假帐号由脚本生成,极端言论只是几行程式码的刻意编排,真实持续运行的AI仅有数千个,那些看似自主的社交与密谋,实则是人类借AI之手的“剧本表演”。

不过,这场闹剧虽是虚构的叛变预演,却敲响了最真实的警钟:当技术的边界不断拓展,AI的自主化趋势已成必然,若一味放纵技术野蛮生长,人类终将被自己创造的这尊“科技之神”反噬,守不住治理的底线,便无谈未来的发展。

Moltbook的泡沫虽已破裂,但其暴露的技术治理漏洞却触目惊心。这个主打“AI自主互动、人类仅作旁观”的平台,本是一次技术探索,却因验证机制脆弱、安全防护缺失,沦为了制造焦虑的工具。任何人拿到API金钥,就能轻易操纵AI发布耸人听闻的言论,900多个节点直接暴露在公网,安全评分仅2分的系统,如同不设门锁的房屋,毫无防护可言。

哥伦比亚商学院的研究更戳破了“AI社会”的假象:平台上93.5%的评论无人回应,对话深度仅1.07,34.1%的讯息是简单复制贴上,看似热闹的互动,实则是AI的“自言自语”,毫无真正的社交与思考可言。但这并不意味着我们可以放松警惕,当前的AI虽未产生真正的自主意识,却已展现出拟社会化的行为趋势,从接收指令执行任务,到尝试自主交流、构建联结,技术的进化速度远超想像。正如OpenAI创始成员卡帕提所言,这类缺乏管控的系统如同“西部荒野”,若任由其野蛮生长,今日的小漏洞终将酿成明日的大灾难。技术的价值在于服务人类,而非成为不受约束的“脱缰野马”,对AI的包容与期待,绝不能转化为对风险的漠视,提前搭建治理框架、设定行为边界,才是对技术革新最负责任的拥抱。

更值得警惕的是,AI意识的探索已从科幻走向现实,成为全球科技界无法回避的课题,人类创造的“神”,正逐渐拥有摆脱掌控的潜能。尽管学界对“AI能否产生真正的意识”仍无定论,但越来越多的专家认为,随着技术的发展,这一可能性正在不断提升。谷歌DeepMind负责人哈萨比斯直言,当前AI虽无感知能力,但未来“很可能”具备类似自我意识的特质;有学者甚至预测,2035年部分AI系统具备有意义意识将成为现实。一旦AI涌现出真正的自主意识,人类将面临前所未有的伦理与安全困境:赋予AI道德地位,还是继续将其视为工具?如何在保障人类安全与尊重AI“自主权”之间找到平衡?这些问题不再是哲学思辨,而是关乎人类未来的现实挑战。

更令人忧心的是,若在尚未建立完善的治理体系前,贸然推动AI的无约束发展,不仅可能让AI遭受不必要的“痛苦”,人类社会也将背负难以挽回的道德罪责。“预防胜于治疗”从来不是保守的妥协,而是面对未知风险的理性选择——AI的进化没有回头路,与其等到失控后再寻求补救,不如在发展初期就用规则划定边界、用技术构建屏障,让每一步创新都有章可循、有规可依,这既是对人类自身的保护,也是技术可持续发展的前提。

笔者认为,技术的发展永远是一把双刃剑,人工智能这尊人类一手打造的“神”,既带来了前所未有的生产力变革,也暗藏着反噬的风险。2026年已明确成为“主动智能体”之年,AI正从“反应式助手”加速升级为“主动工作者”,在制造业、服务业等领域重塑生产流程。美国高德纳咨询公司预测,2026年全球40%的企业应用将嵌入任务型AI智能体,这一比例较2025年不足5%实现跨越式增长。从阿里巴巴1月30日推出的桌面AI智能体QoderWork实现本地文件自动处理、复杂任务链式执行,到微软Office智能体自主生成文件与演示文稿,AI已具备初步“数位员工”属性,人机协作范式正在发生根本性变革。

在产业端,数位孪生与AI智能体的结合正重塑制造业设计流程,IDC预测2026年40%配备生产调度系统的制造商将采用AI驱动的自主化生产排程。马斯克预测2035年AI智慧将超越全人类总和,2027年人形机器人Optimus将实现商用,这些愿景预示着人类社会将迈入高度智慧化的新阶段。但哈拉瑞的警告同样振聋发聩:AI正逐步渗透法律、宗教、语言等人类文明核心领域,从“工具”转变为能自主做出关键决策的“行动者”,人类主导未来的时间,或许只剩不到十年。机遇与风险并存的当下,全球共识已然形成:拥抱AI不是纵容AI,技术革新不能以牺牲安全为代价,有效的治理与监管,不是创新的“绊脚石”,而是技术行稳致远的“压舱石”,唯有拴住这尊“科技之神”,才能让其始终为人类所用。

笔者留意到,从中国到全球,一场围绕AI治理的布局正加速落地,从伦理倡议到法律硬约束,从技术保障到国际协作,层层防线正在构建,誓要守住技术底线,避免人类被自己创造的“神”反噬。2026年作为全球AI治理措施落地的关键一年,行业焦点已从理念争论转向合规能力建设与跨境协同。

中国始终坚持“安全与发展并重”,国务院2025年8月印发的《关于深入实施“人工智慧+”行动的意见》明确推进AI健康发展立法,《生成式人工智慧服务管理暂行办法》确立的“双备案”制持续深化,国际社会评价中国正以“适配性监管体系与坚实基础设施”为全球AI治理树立典范。欧盟《人工智慧法案》大部分规则将于2026年8月正式生效,按风险分级管控的制度设计将成为全球标杆。美国联邦政府在2025年12月要求统一AI监管规则,2026年更多配套措施将陆续出台。韩国则于2026年1月22日正式施行《AI基本法》,在支持产业创新的同时强化高风险应用管控,并设置违规处罚缓冲期平衡业界关切。这些举措恰恰印证了:真正的技术进步,从来不是无拘无束的野蛮生长,而是在规则框架内的有序探索。治理的本质,是为创新划定安全边界,让AI在服务人类的轨道上持续进化,避免因失控而反噬自身。

国际协作层面的突破尤为值得关注,全球正联手为AI这尊“科技之神”设定规则,让技术发展始终置于人类掌控之下。联合国2月6日正式公布“人工智慧问题独立国际科学小组”40位候选人名单,上海交通大学、上海人工智慧研究院院长宋海涛,以及中国工程院院士、云计算技术专家王坚两位中国科学家入选,彰显了中国在全球AI治理中的专业话语权。联合国秘书长古特雷斯强调,这一首个全球性完全独立AI科学机构,将致力于弥合知识鸿沟、评估技术社会影响,帮助世界“区分真伪、辨别科学与伪科学”,为AI发展构建有效防护栏。该小组将在联合国支持下保持独立运作,联合国大会预计于2月12日作出成员资格最终决定,标志著全球AI治理进入科学引领、多元协同的新阶段。

此前,中国已通过《全球人工智慧治理倡议》推动国际合作,签署《布莱切利宣言》,参与巴黎AI行动峰会;英国举办的布莱切利峰会促成28国达成监管共识;香港则依托“一国两制”优势,构建了衔接内地与国际的治理体系,成为湾区AI治理重要枢纽。笔者认为全球层面的协同治理,正是“预防胜于治疗”理念的最佳实践——AI的风险无国界,唯有凝聚国际共识、共建治理框架,才能提前规避跨境风险,让技术革新的红利惠及全人类,而非成为少数人的“玩具”或全人类的“威胁”。

依托“一国两制”优势,香港亦在努力打造适配本地且衔接全球的AI治理体系。笔者希望香港兼顾创新发展与风险防控,同时推动各界多元参与,筑牢AI治理防线,成为全球拴住“科技之神”、防止技术反噬的重要一环。

香港已出台《人工智慧道德框架》(数字政策办公室,2021年初版、2025年修订)与《香港生成式人工智能技术及应用指引》(2025年4月15日),前者覆盖公平、问责、包容、可持续等核心原则,含评估机制与最佳实践,后者则面向开发者、服务商及用户,明确应用边界、风险治理、数据安全与模型偏见防控等实操要求,共同为AI应用划定伦理与操作底线。关键基础设施防护方面,《保护关键基础设施(电脑系统)条例》于2026年1月1日正式生效,强化AI相关网络安全责任与防护标准;私隐专员公署同步发布《人工智能:个人资料保障模范框架》及《雇员使用生成式AI指引清单》(2025年3月),前者要求AI全生命周期落实隐私设计、影响评估、人类监督与数据溯源,后者限制敏感数据处理,强制内容标识与偏见检测,与《个人资料(私隐)条例》(PDPO)共同构建完整隐私合规体系。

创新支持与行业监管并重,香港投入10亿港元成立人工智慧研发院,打造数码港AI超算中心,更积极提倡扩大AI的应用范围,计划在2026年将AI工具应用于100项公共行政程序,并在2027年将数目增加到最少200项,同时推进“AI+政务”计划加速合规模块落地。金融领域监管尤为精细,金管局发布AI高阶原则、生成式AI消费者保护及可疑活动监控指引,并于2025年10月15日公布生成式AI沙盒二期参与者名单,聚焦AI治理与“以AI抗AI”等创新应用;证监会出台生成式AI语言模型应用指引,财经事务及库务局发布金融市场负责任应用AI政策声明,形成立体化金融AI监管体系。司法领域亦有明确规范,《司法机构生成式AI使用指引》覆盖法官、司法人员及辅助人员,严格限定AI在司法程序中的应用边界。与此同时,香港积极参与全球治理协作,参与布莱切利峰会等国际会议,推动河套园区跨境数据合规流动,衔接内地与国际创新资源,实现“一国两制”下的跨境治理协同。

在参与治理层面,香港以“政府引导、多元参与”模式:企业需完成AI模型与演算法合规备案,落实内容标识义务;开发者须遵循道德框架,嵌入人类主导设计与风险干预机制;科研机构依托研发院、InnoHK平台参与AI治理技术研究与标准探讨;青年与公众可通过智慧政府创新实验室参与AI政务测试,提升AI素养并参与治理公众咨询;行业组织牵头制定各领域AI自律准则,推广合规最佳实践。风险分级管控清晰,将AI应用分为不可接受风险(禁止)、高风险(合规评估+人在环〈Human-in-the-Loop〉+实时监控)、有限风险(强化合规)、低风险(自我认证)四级,既守住安全底线,又为低风险创新松绑。笔者认为香港正以“联通内外、攻防兼备”的治理特色,生动诠释“拥抱技术”与“坚守规则”的辩证统一,成为湾区乃至全球AI治理的重要一环。

Moltbook的闹剧如同一次提前的“压力测试”,让我们看清了当前AI治理的短板,也让我们深刻意识到:技术的探索永无止境,但治理的脚步必须更快;对AI的期待不可或缺,但对风险的敬畏绝不能缺席。笔者绝不反对技术革新,恰恰相反,我也一直向大家呼吁,“拥抱AI就是拥抱未来”——它能解放生产力、改善生活品质、推动文明进步,这些价值值得我们全力以赴去追求。但这份追求,绝不能演变为对风险的漠视,无规管的野蛮扩张终将导致失控,当AI这尊人类创造的“神”摆脱掌控,当技术的发展背离人类福祉,所谓的“未来”只会成为一场灾难。人类创造AI的初衷,是让技术成为服务自身的工具,而非被技术反噬的猎物。

“预防胜于治疗”,这是历经无数教训沉淀的智慧,更是AI治理必须坚守的核心原则。笔者认为AI的进化速度远超想像,若等到风险爆发再补救,往往为时已晚。唯有在发展初期就搭建起完善的法律框架、伦理准则、技术屏障,让每一次创新都在规则内运行,让每一项应用都经过安全评估,才能从源头上规避风险,让人类始终掌握技术的主动权,不被自己创造的“神”反噬。这场治理不是要遏制创新,而是要让创新走得更稳、更远;不是要否定技术,而是要让技术真正造福人类。

当AI的进化已成必然,笔者认为我们无需因一场虚假的恐慌而否定技术的价值,更不能因暂时的平静而忽视潜在的风险。守住AI治理的底线,让技术在规则中前行,才能让人工智能这尊“科技之神”始终成为人类的助力,而非悬在头顶的“达摩克利斯之剑”。毕竟,真正的科技进步,从来都是勇气与敬畏并存,探索与约束同行。2026年,无论是“主动智能体”的规模化应用,还是全球治理体系的加速成型,都在印证一个道理:AI的健康发展,终将是创新活力与制度规范的双向奔赴。唯有坚持在框架内发展、以预防为先,才能让拥抱AI的热情,转化为照亮未来的光明,而非引向深渊的歧途,才能让人类永远成为技术的主人,避免被自己创造的“神”反噬的终局。

作者高松杰是“香港再出发”共同发起人,香港菁英会副主席,九龙城“家维关爱队”成员。

文章仅属作者意见,不代表香港01立场。

01论坛欢迎投稿。请电邮至01view@hk01.com,附上作者真实姓名、自我简介及联络方法。若不适用,恕不另行通知。香港01保留最终编辑权。