标签: 服务器运维

AI 爬虫疯狂刷流量?Nginx 封禁爬虫 IP 实战方案

最近半年我的这个站被 AI 爬虫刷了好几次次,每月流量直接爆掉。Ban 的 IP 规则已经几百条,乱七八糟的蜘蛛刷的流量大就直接拉黑。下面分享一套 Nginx 封禁 AI 爬虫 IP 的实战方案,从识别到拦截,一步到位。 AI 爬虫和传统搜索引擎蜘蛛不同,它们不遵守 robots.txt,UA 伪装成正常浏览器,请求频率极高,专门抓取内容用于训练大模型。常见 AI 爬虫包括 GPTBot、ChatGPT-User、Claude-Web、PerplexityBot、Bytespider 等。这些…

Linux 服务器运维巡检常用命令

文章来源:运维笔记 Linux 系统需要定期巡检,以检查服务器软硬件使用情况,确保可以及时发现问题、解决问题,降低损失。 常用的巡检命令如下: uname -a 查看内核/操作系统/CPU信息 head -n 1 /etc/issue 查看操作系统版 cat /proc/cpuinfo 查看CPU信息 hostname 查看计算机名 lspci -tv 列出所有PCI设备 lsusb -tv 列出所有USB设备 lsmod 列出加载的内核模块 env 查看环境变量 free -m 查看内存使用量和交换区使用量 df -h 查…