自学python Day3-python爬虫2 - 2018.5.1

上一次我自学爬虫的时候, 写了一个简陋的勉强能运行的爬虫alpha. alpha版有不少问题. 好比一个网站上不了, 爬虫却一直在等待链接返回response, 不知道超时跳过; 或者有的网站专门拦截爬虫程序, 咱们的爬虫也不会假装本身成为浏览器正规部队; 而且抓取的内容没有保存到本地, 没有什么做用. 此次咱们一个个解决这些小问题.html Python 3开发网络爬虫(三): 假装浏览器君 1

>>阅读原文<<