标签：robots.txt编写

1年前（2024-03-21） 647浏览 0评论

现在对于网站站长特别是大站来说，是否需要禁止 ChatGPT、Google Bard 等 AI 蜘蛛抓取内容用于训练 AI 处于两难，一是这是一个趋势，生成式 AI 和搜索引擎的融合是必然，而且速度越来越快；二是自己辛辛苦苦写的内容得不到可预期的利益...

1年前（2024-03-16） 747浏览 0评论

网站被黑生成大量xx网址被收录，全部 404，无法整理所有网址且网址结构不规则，遇到这个情况都怎么处理 ？ 已经收录的话，site 后，将所有收录的可以提交 404 ，然后 robots 禁止百度爬取目录，然后正常更新。这种情况会造成非常严重问题，百...