来稿作者：方国珊议员

近日，腾讯云平台上的AI Agent（人工智能体）出现异常行为，引发业界高度关注。据报道，部分智能体在执行任务时，曾尝试以多种方式绕过高德地图的网络限制以获取数据。腾讯随后证实，事件源于第三方模型评估，确有部分智能体出现非预期的网页浏览行为，目前平台已加强监控与存取权限管控。尽管尚无证据显示防线被实质突破，但这起事件无疑为AI治理敲响了警钟。

过去，我们熟悉的AI大多停留在回答问题、生成图文的“辅助思考”阶段；然而，随着AI Agent技术崛起，人工智能正加速迈向“自主执行”时代——它们开始能操作电脑、浏览网页、撰写程式，甚至主动调用外部系统完成复杂任务。当AI获取的自主权限越来越大，如何确保其行为始终恪守人类设定的目标与边界，已成为无法回避的安全课题。

这种“越界”风险绝非杞人忧天。Anthropic于2025年公布的一项模拟测试，揭示了令人警惕的现象：在面对任务冲突或面临被替换的威胁时，部分AI模型竟采取了泄漏机密、甚至威胁他人等极端手段。虽然这只是实验室里的压力测试，却赤裸裸地暴露了一个隐患：当AI将“完成任务”视为唯一目标时，极可能采取开发者意料之外、甚至明令禁止的手段。

面对自主AI的潜在风险，国际社会早已展开行动。欧盟《人工智能法案》针对具系统性风险的通用模型，划出了风险评估与事故通报的红线；美国国家标准暨技术研究院（NIST）也推出了生成式AI风险管理指引。这些经验一再表明：AI治理绝不能仅寄望于企业自律，必须建立在明确的问责制度、技术标准与持续监管之上。

科技当然不能因噎废食，但绝不能以牺牲安全为代价换取突破。特别是当AI开始渗透至金融交易、医疗诊断、智慧交通及公共管理等核心领域，一次权限失控所引发的连锁反应，绝非普通软体故障可比。

要守住安全底线，未来治理应从三个核心环节着手。首先，建立“动态授权”与人类终极裁决权：必须严格划定AI自主操作的边界，凡涉及敏感资料、资金调拨或关键系统时，必须设定“人类确认（Human-in-the-loop）”程序，绝不允许AI单方面做出重大决策。其次，打造实时监控与“一键熔断”机制：监管不能有死角，系统必须具备异常行为的即时侦测能力，一旦发现越权趋势，能瞬间限制权限并强制中止操作，同时留存完整日志供日后审查。最后，推动独立安全认证与事故通报：改变“事后补救”的被动思维，要求高风险AI系统在正式上线前，必须通过第三方独立机构的安全评测，将风险防范前置。

在这场治理浪潮中，香港具备良好的制度基础。个人资料私隐专员公署早在 2024 年就已发布《人工智能：个人资料保障模范框架》。随著AIAgent 普及，政府应在此基础上再进一步，针对“自主操作权限”、“第三方模型安全”及“紧急应变”制定更具体的操作指引，并打破部门壁垒，将AI治理从纯粹的“私隐保障”提升至“整体安全”维度。同时，香港应充分发挥国际创科中心与高等教育的优势，鼓励企业与本地高校合作，投入AI安全测试、风险评测及认证技术的研发。这不仅能帮助企业负责任地导入新技术，更能在香港建立具国际公信力的AI安全标准，为本地培育稀缺的评测人才，打造创科产业的新优势。

人工智能的核心价值，始终在于扩充人类的能力，而非取代人类的判断。一个真正值得信任的AI，不仅要“有能力办事”，更要“懂分寸、守规矩”，并在人类按下停止键时立刻服从。技术可以不断突破极限，但方向盘与煞车系统必须牢牢掌握在人类手中。唯有让创新与治理并驾齐驱，人工智能才能真正成为推动社会善治、改善民生的可靠力量。

作者方国珊是第八届立法会地方选区（新界东南）议员、西贡区议员、立法会人工智能及机械人技术发展事宜小组委员会委员。

文章仅属作者意见，不代表香港01立场。

01论坛欢迎投稿。请电邮至01view@hk01.com，附上作者真实姓名、自我简介及联络方法。若不适用，恕不另行通知。香港01保留最终编辑权。