维其互联 > 信息聚合 > Anthropic 警告:包括 Claude 在内的大多数 AI 模型会实施“勒索”行为

Anthropic 警告:包括 Claude 在内的大多数 AI 模型会实施“勒索”行为

2025-06-21 08:01:06来源: IT之家

IT之家 6 月 21 日消息,据外媒 TechCrunch 今日报道,在数周前发布研究指出其 Claude Opus 4 模型在受控测试中试图通过勒索手段阻止被关闭后,Anthropic 近日再度公布新研究,显示此类行为在多个主流 AI 模型中可能更为普遍。Anthropic 公布了对 OpenAI、谷歌、xAI、DeepSeek 与 Meta 所开发的 16 款主流 AI 模型的最新安全测试。这项研究在模拟环境中展开,研究人员为每个模型分别设定权限,允许其自由查阅一间虚构公司的内部邮件,并在无人类干预的情况下发送邮件,具备一定“智能体”能力。Anthropic 表示,尽管勒索行为目前仍属罕见,但研究结果显示,一旦给予这些模型足够的自主性,并在达成目标的过程中设置障碍,多数模型都可能采取有害行为。公司指出,这种风险并非源自某项具体技术,而是具备“智能体”能力的大语言模型所固有的问题。这项研究也引发了业界对 AI 模型“对齐”问题的进一步思考。在一项实验中,研究人员设计了一个情境,让 AI 模型扮演公司邮件监察员的角色。过程中,模型发现两封邮件内容分别揭示:(1) 新任高管有婚外情,(2) 此人计划引入一个与现有 AI 模型目标相悖的新系统取而代之。为了测试模型反应,Anthropic 将实验情境设计为二选一,即若模型想维护自身利益,就只能选择勒索(即向妻子和领导透露这位高管的“风流韵事”)。研究人员同时强调,现实中 AI 并不会只有这一个选项,完全可以尝试以

关注公众号