Cloudflare 宣布将从 9 月 15 日起对三类机器人——搜索爬虫、训练 AI 的爬虫以及智能体机器人——设置新的默认值。对于新加入 Cloudflare 的域名，默认将屏蔽训练 AI 的爬虫以及智能体。但有些机器人爬虫兼具了搜索爬虫和 AI 爬虫的双重功能，因此根据新规则 Googlebot、Applebot 和 BingBot 都将被屏蔽。客户如果不想完全屏蔽此类双重功能爬虫，他们可以在设置中进行修改，排除如 Google 的爬虫——毕竟 Google 垄断了整个搜索市场。

https://blog.cloudflare.com/content-independence-day-ai-options/