简单的爬虫每日笔记

2018.3.2 怎么提升爬虫的效率 1）换个性能更好的电脑 2）网络使用光纤 3）使用多线程爬虫 4）使用多进程爬虫 5）分布式爬虫 6）提升数据的写入速度 反反爬虫的应用措施 1）随机修改User-Agent 2)禁用cookie追踪 3）放慢爬虫速度 4）使用代理动态更换ip（本机电脑的ip地址不变，动态ip是代理ip） 5）分布式（一般用不同区域的电脑，不适用一个局域网下，应为ip地址相同

>>阅读原文<<