信息收集和网站地图绘制比编程更重要。编程
浏览器访问效率的最大值是爬虫效率的最低值。api
永远不要使用selenium,尽可能不要使用phantomjs浏览器
对于脾气暴躁、技术能力强的网站,要让爬虫变的友善优化
复杂爬虫不宜过分优化,越冗余,维护成本越低。网站
尽可能使用api和手机端接口。接口