一只健壮的爬虫是怎样炼成的

一只健壮的爬虫是怎样炼成的 Python新人，爬虫玩的多了，渐渐的也有了自己的一些感悟，这里不谈具体操作，就写了几条自己的总结，每一条背后都是失败的经验教训，当你把爬虫“放心”的运行一晚上后，一大早起来发现程序早就异常死掉了，很多都没爬到时，你就知道下面这些建议的意义了。 1.爬虫必须增加容错处理，不能因为一个错误就终止整个程序； 2.重要的内容请时刻保存为文件，防止程序异常终止时，丢失所有已爬取

>>阅读原文<<