入门爬虫的干货

若是学会了python的基本语法，我认为入门爬虫是很容易的。 我写的第一个爬虫大概只须要10分钟，自学的 scrapyd , 看官方文档花了20分钟，由于我英文不是很好，不少单词须要搜索一下。

(scrapy 并非入门必须的） 再接触到了 requests , lxml ，配合基本库 urllib, urllib2 就几乎无所不能了。后来有人推荐我用 BeatufulSoup 之类的库，但其实原理都差很少。1、入门爬虫的干货 0. 爬虫的基本思路 a. 经过URL或者文件获取网页， b. 分析要爬取的目标内容所在的位置 c. 用元素选择器快速提取(Raw) 目标内容 d. 处理提取出来的目标内容 （ 一般整理合成一个 Json） e. 存储处理好的目标内容 （好比放到 MongoDB 之类的数据库，或者写进文件里。）

1. 为何我入门爬虫那么快？

答：我本身总结了一下，在接触爬虫以前：
a. 我挺了解HTTP 协议（看了《HTTP权威指南》）， b. 我写过基于Flask框架的后端（大概三年前@萧井陌 在知乎上推荐Flask框架，而后我就自学了，用的是《Flask Web开发：基于Python的Web应用开发实战 》） c. 我写过前端(HTML+CSS+JS)，了解什么是DOM ，会一点jquery。 d. 正则也是勉强够用的。 e. 本人大学也是计算机专业，学习挺认真的。 f. 因此算是厚积薄发。

2.那么毫无专业基础，也没有先后端基础的人应该怎么办？

答：那固然要超过半小时啦。先花点时间去大概了解如下内容：
a. HTTP协议的请求方法，请求头部，请求数据 b. 大概了解一下什么是 cookie c. 学一点HTML和元素选择器 d. 学会使用Chrome 的 开发者工具 磨刀不误砍柴工，固然若是有人带着，这些大概1-2小时就能过到能凑合用的程度了。若是没人带，就上网搜索学习一下，也很快的，估摸最多十小时。

3.Python 爬虫经常使用的库是哪些？入门应该掌握哪些库？ 答：网上有不少相关的资料，可是我我的以为新入门的人，不须要也不该该一会儿接触全部的库。正如幼儿刚开始学说话的时候，不该该同时教普通话粤语闽南语英语。 我我的认为，学会 requests 和 lxml ，就能够入门爬虫了。