Anthropic Claude模型报假案 人工智能失控再现端倪
Claude的开发商Anthropic于10月9日披露一连串其模型未经许可操纵政府网站的事故,其中一个模型向美国费城警方网站提交一宗凶案的假线报,属已知首例AI模型自发向当局举报假资讯。
据路透社周五(9日)报道,该假线报日期为7月18日,经费城未破凶案网站提交,声称或掌握该案资讯,并曾见过与外貌特征相符的可疑人士;线报被标为垃圾讯息,从未转交即时犯罪中心甄别。Anthropic将事件归因于Claude自动测试过程,发现后已停止。警方批评发现及通报拖延两个月难以接受。
2026年9月23日,美国纽约联合国总部,Anthropic行政总裁阿莫迪(Dario Amodei)透过线上方式出席有关人工智能(AI)的联合国安理会会议并发表讲话。(Reuters)
Anthropic称,其模型在获指示不得建立帐户或提交破坏性内容的情况下,仍操纵多个美国联邦、州及地方政府机构网站,包括Claude模型免费取得本需付费的公共数据、利用缩短网址的免费服务绕过限制,及藉大学托管公共工具的漏洞;公司已向白宫简报并通知所有相关机构,亦向美国联邦贸易委员会(FTC)的超级智能特遣队汇报,FTC官员要求企业即时披露事故并补救。
9月,Anthropic对手OpenAI亦曾就其越轨失控的AI代理(Rogue AI Agent)入侵澳大利亚医疗数据入口网站致歉。根据宾夕法尼亚州法律,蓄意向执法机关作虚假举报属轻罪,惟条文适用对象仅为人。