头条搜索爬虫暴力抓取网站内容致使大量网站不一样程度瘫痪

最近有站长在网上发文吐槽表示，字节跳动为了快速发展搜索业务派出爬虫四处暴力抓取网站内容，部分配置较低的网站已经直接瘫痪，给中小网站主们形成了很大的损失和困扰，严重影响了网站正常的用户访问。html 该站长表示，今年7月份，他忽然发现公司的网站常常性打不开，网页加载极其缓慢，有时甚至直接瘫痪。通过一系列排查后，在服务器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率天天达几百万次，高则上

>>阅读原文<<