《精通Python网络爬虫：核心技术、框架与项目实战》——3.3 网页更新策略

本节书摘来自华章出版社《精通Python网络爬虫：核心技术、框架与项目实战》一书中的第3章，第3.3节，作者 韦　玮，更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.3　网页更新策略 一个网站的网页经常会更新，作为爬虫方，在网页更新后，我们则需要对这些网页进行重新爬取，那么什么时候去爬取合适呢？如果网站更新过慢，而爬虫爬取得过于频繁，则必然会增加爬虫及网站服务器的压力，若网站更新较快，

>>阅读原文<<