最新消息:

CloudFlare 免费账户也可以开启 AI 抓取工具和爬虫防护

网站建设 vpszz 54浏览 0评论

今天看到 CloudFlare 针对免费用户推出了 AI Scrapers and Crawlers 功能,就是 AI 爬虫防护,用来阻止 AI 机器人和爬虫抓取网站内容,用来训练人工智能。原来这项功能专门针对付费用户,现在无论是免费还是订阅用户,只需要一键开启该选项后即可。

开启方法很简单,登陆 CloudFlare 后台,左侧菜单选择安全性,自动程序,开启 AI Scrapers and Crawlers 即可。

CloudFlare 可能已经可以识别并整理出了常见的 AI 爬虫例如 OpenAI 的 GPTBot,直接阻止这些爬虫,对于很多重视版权的网站尤其是新闻媒体类的中小网站非常有用。AI 抓取网站内容训练自己的大模型是必然趋势,就算禁止也阻止不了偷鸡摸狗,比如某度。看下我之前的文章如何禁止网站内容被抓取用于 AI 训练?有必要禁止吗?

改天仔细看下 CloudFlare 到底抓取到了哪些常见的 AI 抓取工具和爬虫,比如百度、360或者其他国内公司的,直接 robots.txt 文件禁止。

转载请注明:VPS站长网 » CloudFlare 免费账户也可以开启 AI 抓取工具和爬虫防护

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
苏ICP备2024076581号