标签：ai抓取数据

今天看到 CloudFlare 针对免费用户推出了 AI Scrapers and Crawlers 功能，就是 AI 爬虫防护，用来阻止 AI 机器人和爬虫抓取网站内容，用来训练人工智能。原来这项功能专门针对付费用户，现在无论是免费还是订阅用户，只需要一键开启该选项后即可。 开启方法很简单，登陆 CloudFlare 后台，左侧菜单选择安全性，自动程序，开启 AI Scrapers and Crawlers 即可。 CloudFlare 可能已经可以识别并整理出了常见的 AI 爬虫例如 OpenA...

现在对于网站站长特别是大站来说，是否需要禁止 ChatGPT、Google Bard 等 AI 蜘蛛抓取内容用于训练 AI 处于两难，一是这是一个趋势，生成式 AI 和搜索引擎的融合是必然，而且速度越来越快；二是自己辛辛苦苦写的内容得不到可预期的利益的时候，凭什么被 AI 抓取训练，网站可以获得什么？毕竟 AI 抓取跟搜索引擎抓取内容是不一样的，搜索引擎抓取内容后带给网站流量，而我们网站的内容被 AI 机器人抓取后，网站能得到什么是未知...