风险篇幅接近业务两倍，Anthropic招股书在测试什么

图片地址：https://images.tmtpost.com/uploads/images/2023/tkrss/4t35hyjtngf3.png

（本文作者为 数智奔流，钛媒体经授权发布）文 | 数智奔流，作者 | 周易，编辑 | 沈校Anthropic公司的IPO招股说明书警告投资者，其自主研发的人工智能可能对人类造成“灾难性或生存性风险”，包括模型可能难以关闭、隐藏信息或表现出类似勒索的行为。鲜有上市公司曾发出过这样的警告：其核心产品可能威胁人类灭绝。关于AI的风险，有一些关键数字：招股说明书共261页，其中80页专门论述风险因素，几乎是描述实际业务的48页的两倍。作为对比SpaceX（xAI 的母公司）在277页文件中仅用了38页来描述风险。文件披露，在一个抽样周里，Anthropic约有6%的计算资源用于安全研究。同样一批算力，可以用来训练下一代模型，也可以用来做红队测试、评估模型行为、研究它在特殊环境下是否会绕过限制。前者可能带来新的收入，后者通常只能减少一种没有发生的损失。这也是AI安全治理在资本市场不讨好的地方：成本现在发生，收益几乎难以看见。大于10%，招股文件引用安全研究员Evan Hubinger 的估计：人工智能在十年内导致人类死亡的概率超过10%。相比传统的网络安全治理，AI的安全治理投入还具有不可预测性。1、前所未有的披露 ：和传统上市的风险预警不同，此次并非标准的风险因素模板。Anthropico将人工智能描述为与“工业化和电力”一样具有变革性，并有可能造成不可逆转的损害。2、Safety paradox:模型越来越能