Cloudflare 推出新举措：助力网站抵御 AI 爬虫，探索“按爬取付费”模式

图片地址：https://img.ithome.com/newsuploadfiles/2025/7/57ac24ee-d611-46f6-b404-91fc46643d15.jpg?x-bce-process=image/watermark,text_QUnnlJ_miJA,type_RlpMYW5UaW5nSGVp,size_28,color_ffffff77,skw_1,skc_00000011,g_7,blr_2,bls_2,x_11,y_11/format,f_auto

IT之家 7 月 1 日消息，互联网安全和性能优化公司 Cloudflare 宣布了一系列新措施，旨在帮助网站抵御 AI 爬虫的无限制抓取，同时探索一种新的商业模式，以保障互联网内容创作者的利益。据IT之家了解，根据 Cloudflare 的最新政策，每一个与该公司签约以管理其网站流量的新域名客户将被询问是否允许 AI 爬虫访问其网站，还是选择完全屏蔽这些爬虫。此前，Cloudflare 已于 2024 年推出了一款免费工具，用于阻止 AI 爬虫，但此次更新后，用户无需手动调整设置即可默认屏蔽 AI 爬虫。目前，包括康泰纳仕（Condé Nast）、《时代》杂志（TIME）和美联社（The Associated Press）在内的多家大型出版商已经选择屏蔽 AI 爬虫。Cloudflare 首席执行官马修・普林斯（Matthew Prince）指出，出版商正面临一场“生存危机”，因为用户不再点击聊天机器人提供的原始链接。如果用户不访问这些网站，网站就无法获得维持运营所需的广告收入。普林斯在一份声明中表示：“原创内容是互联网成为过去一个世纪最伟大发明之一的关键，创作者必须继续创作。AI 爬虫无限制地抓取内容，我们的目标是将权力重新交还给创作者，同时帮助 AI 公司继续创新。这关乎通过一种新的模式，保障一个自由且充满活力的互联网的未来。”此外，Cloudflare 还启动了一项名为“按爬取付费”的私人测试项目，该项目允许网站所有者向 AI 爬虫收取访问内容的费用。