今天看到 CloudFlare 针对免费用户推出了 AI Scrapers and Crawlers 功能，就是 AI 爬虫防护，用来阻止 AI 机器人和爬虫抓取网站内容，用来训练人工智能。原来这项功能专门针对付费用户，现在无论是免费还是订阅用户，只需要一键开启该选项后即可。
开启方法很简单，登陆 CloudFlare 后台，左侧菜单选择安全性，自动程序，开启 AI Scrapers and Crawlers 即可。
CloudFlare 可能已经可以识别并整理出了常见的 AI 爬虫例如 OpenAI 的 GPTBot，直接阻止这些爬虫，对于很多重视版权的网站尤其是新闻媒体类的中小网站非常有用。AI 抓取网站内容训练自己的大模型是必然趋势，就算禁止也阻止不了偷鸡摸狗，比如某度。看下我之前的文章如何禁止网站内容被抓取用于 AI 训练？有必要禁止吗？
改天仔细看下 CloudFlare 到底抓取到了哪些常见的 AI 抓取工具和爬虫，比如百度、360或者其他国内公司的，直接 robots.txt 文件禁止。
