不踩坑的Python爬虫：如何在一个月内学会爬取大规模数据？新手必学

 

 

Python爬虫为何受欢迎

若是你仔细观察，就不难发现，懂爬虫、学习爬虫的人愈来愈多，一方面，互联网能够获取的数据愈来愈多，另外一方面，像 Python这样的编程语言提供愈来愈多的优秀工具，让爬虫变得简单、容易上手。

利用爬虫咱们能够获取大量的价值数据，从而得到感性认识中不能获得的信息，
这里要注意：无论你是为了Python就业仍是兴趣爱好，记住：项目开发经验永远是核心，若是你没有2020最新python入门到高级实战视频教程，能够去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下能够找到了，里面不少新python教程项目，还能够跟老司机交流讨教！

好比：

知乎：爬取优质答案，为你筛选出各话题下最优质的内容。 淘宝、京东：抓取商品、评论及销量数据，对各类商品及用户的消费场景进行分析。 安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、作不一样区域的房价分析。 拉勾网、智联：爬取各种职位信息，分析各行业人才需求状况及薪资水平。 雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。

爬虫是入门Python最好的方式，没有之一。Python有不少应用的方向，好比后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。

掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更驾轻就熟。由于这个过程当中，Python基本语法、库的使用，以及如何查找文档你都很是熟悉了。

对于小白来讲，爬虫多是一件很是复杂、技术门槛很高的事情。好比有人认为学爬虫必须精通 Python，而后哼哧哼哧系统学习 Python 的每一个知识点，好久以后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTML\CSS，结果入了前端的坑，瘁……

但掌握正确的方法，在短期内作到可以爬取主流网站的数据，其实很是容易实现，但建议你从一开始就要有一个具体的目标。

在目标的驱动下，你的学习才会更加精准和高效。那些全部你认为必须的前置知识，都是能够在完成目标的过程当中学到的。这里给你一条平滑的、零基础快速入门的学习路径。

1.学习 Python 包并实现基本的爬虫过程 2.了解非结构化数据的存储 3.学习scrapy，搭建工程化爬虫 4.学习数据库知识，应对大规模数据存储与提取 5.掌握各类技巧，应对特殊网站的反爬措施 6.分布式爬虫，实现大规模并发采集，提高效率

- ❶ -

学习 Python 包并实现基本的爬虫过程

大部分爬虫都是按“发送请求——得到页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了咱们使用浏览器获取网页信息的过程。

Python中爬虫相关的包不少：urllib、requests、bs四、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责链接网站，返回网页，Xpath 用于解析网页，便于抽取数据。

若是你用过 BeautifulSoup，会发现 Xpath 要省事很多，一层一层检查元素代码的工做，全都省略了。这样下来基本套路都差很少，通常的静态网站根本不在话下，豆瓣、糗事百科、腾讯新闻等基本上均可以上手了。

固然若是你须要爬取异步加载的网站，能够学习浏览器抓包分析真实请求或者学习Selenium来实现自动化，这样，知乎、时光网、猫途鹰这些动态的网站也能够迎刃而解。

- ❷ -

了解非结构化数据的存储

爬回来的数据能够直接用文档形式存在本地，也能够存入数据库中。

开始数据量不大的时候，你能够直接经过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。

固然你可能发现爬回来的数据并非干净的，可能会有缺失、错误等等，你还须要对数据进行清洗，能够学习 pandas 包的基本用法来作数据的预处理，获得更干净的数据。

- ❸ -

学习 scrapy，搭建工程化的爬虫

掌握前面的技术通常量级的数据和代码基本没有问题了，可是在遇到很是复杂的状况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就很是有用了。

scrapy 是一个功能很是强大的爬虫框架，它不只能便捷地构建request，还有强大的 selector 可以方便地解析 response，然而它最让人惊喜的仍是它超高的性能，让你能够将爬虫工程化、模块化。

学会 scrapy，你能够本身去搭建一些爬虫框架，你就基本具有爬虫工程师的思惟了。

- ❹ -

学习数据库基础，应对大规模数据存储

爬回来的数据量小的时候，你能够用文档的形式来存储，一旦数据量大了，这就有点行不通了。因此掌握一种数据库是必须的，学习目前比较主流的 MongoDB 就OK。

MongoDB 能够方便你去存储一些非结构化的数据，好比各类评论的文本，图片的连接等等。你也能够利用PyMongo，更方便地在Python中操做MongoDB。

由于这里要用到的数据库知识其实很是简单，主要是数据如何入库、如何进行提取，在须要的时候再学习就行。

- ❺ -

掌握各类技巧，应对特殊网站的反爬措施

固然，爬虫过程当中也会经历一些绝望啊，好比被网站封IP、好比各类奇怪的验证码、userAgent访问限制、各类动态加载等等。

遇到这些反爬虫的手段，固然还须要一些高级的技巧来应对，常规的好比访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。

每每网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了。

- ❻ -

分布式爬虫，实现大规模并发采集

爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很天然地接触到一个很厉害的名字：分布式爬虫。

分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工做，须要你掌握 Scrapy + MongoDB + Redis 这三种工具。

Scrapy 前面咱们说过了，用于作基本的页面爬取，MongoDB 用于存储爬取的数据，Redis 则用来存储要爬取的网页队列，也就是任务队列。

因此有些东西看起来很吓人，但其实分解开来，也不过如此。当你可以写分布式的爬虫的时候，那么你能够去尝试打造一些基本的爬虫架构了，实现一些更加自动化的数据获取。

你看，这一条学习路径下来，你已然能够成为老司机了，很是的顺畅。因此在一开始的时候，尽可能不要系统地去啃一些东西，找一个实际的项目（开始能够从豆瓣、小猪这种简单的入手），直接开始就好。

由于爬虫这种技术，既不须要你系统地精通一门语言，也不须要多么高深的数据库技术，高效的姿式就是从实际的项目中去学习这些零散的知识点，你能保证每次学到的都是最须要的那部分。

固然惟一麻烦的是，在具体的问题中，如何找到具体须要的那部分学习资源、如何筛选和甄别，是不少初学者面临的一个大问题。

不过不用担忧，咱们准备了一门很是系统的爬虫课程，除了为你提供一条清晰的学习路径，咱们甄选了最实用的学习资源以及庞大的主流爬虫案例库。短期的学习，你就可以很好地掌握爬虫这个技能，获取你想获得的数据。

通过短期的学习，很多同窗都取得了从0到1的进步，可以写出本身的爬虫，爬取大规模数据。下面是几位同窗的做业合集分享：

爬LOL英雄皮肤高清图片

@沉默小熊猫

爬取了当前比较火的游戏壁纸，MOBA游戏《英雄联盟》，手游《王者荣耀》、《阴阳师》，FPS游戏《绝地求生》，其中《英雄联盟》的壁纸最难爬取，这里展现爬取《英雄联盟》所有英雄壁纸的过程。

先看一下最终爬取的效果，每一个英雄的壁纸都被爬取下来了：

139个英雄壁纸文件夹

“黑暗之女 安妮”的12张壁纸：

小红帽 安妮 高清大图

1.爬虫流程图

至此对我要爬取的对象已经有了必定的了解，对于具体爬取方法也有了想法，能够设计以下爬虫流程图：

2.设计代码总体框架

根据爬虫流程图，我设计了以下代码框架：

这个代码框架很是容易读懂，主要就是run()函数，run()函数完成了这样一套工做：建立LOL文件夹——得到键盘输入的信息——若信息为“All”则爬取所有英雄壁纸，不然爬取单个英雄壁纸。

3.爬取全部英雄信息

首先咱们要解析champion.js文件，获得英雄英文名与id的一一对应关系。

对于官网网站上的全部英雄信息页面，因为是用 JavaScript 加载出来的，普通方法并很差爬取，我使用了 Selenium+PhantomJS 的方法来动态加载英雄信息。

解析的英雄信息

4.爬取英雄壁纸

获得每个英雄的信息后，咱们就能够开始愉快的爬取它们的壁纸啦~定义get_image(heroid,heroframe) 函数，用于爬取单个英雄的所有壁纸。

运行代码时注意保持网络畅通，若是网速太慢可能会爬取失败。在3兆有线网的网速下爬取所有139个英雄的所有高清壁纸（约一千张图）大概要3-4分钟。

《王者荣耀》、《阴阳师》、《绝地求生》等其余游戏的壁纸也是一样道理就能够爬取了，据我实践，《英雄联盟》的爬取难度是最高的，所以将上述过程弄懂了，本身再编写代码爬其余游戏就易如反掌了。

卡片里面内容能够滑动

美团网餐饮商家的信息爬取

@Chenchen

本次对【常州美食】所有美食推荐 进行一次爬虫实践，主要想爬取的信息有：餐厅的名称、餐厅的评分、餐厅评论数、餐厅的地址、人均消费价格……

最终爬下来的数据保存为CSV以下：

美团使用了反爬虫机制，要模拟浏览器来进行爬取。通过几回尝试，发现只对 Cookie 和 User-Agent 进行校验。

爬到第一组数据

爬到第一组数据以后，接着就是想翻页的事情。翻页特别简单，因而又爬取了商家电话、营业时间等信息。

打包写个函数

成功地爬到了相应的信息

但好景不长，爬到一半的时候被403了。

由于被封了，咱们只能用无痕方式来访问了?。看了下，决定采用多个 Cookie 而后随机调用的方式来避免被封了。最终使用了17个cookie，通过测试，能够高速爬取不被封。

此次的爬取在这里结束了，可是爬回来的数据能够作不少分析，好比在不一样的地段外卖的状况，商家的分布等等。

爬当当网各分类全部五星图书

@ZhuNewNew

此次做业选择爬取的网站是当当网，当当有比较多的图书数据，特别是五星图书，包含了各个领域最受欢迎的图书信息，对于寻找有价值的图书、分析好书的销售状况具备必定的价值。

最终爬取的数据以下，总共10000+行数据：

我想爬取的数据是各分类（小说、中小学教辅、文学、成功/励志……）下面的五星图书信息（书名、评论数、做者、出版社、出版时间、五星评分次数、价格、电子书价格等等）。

为了抓各分类下的图书信息，首先看看点击各分类的时候，连接是否发生变化。通过测试，在不一样的分类，连接都是不同的，事实证实不是JS加载。

打印以后正常返回数据

到这里基本能够知道，当当网的反爬确实不严格，我甚至尚未设置Headers的信息，居然也能够爬取到想要的数据。但最后在完整的代码中，仍是把headers加上了，保险起见吧。

接下来就是分别爬取每一个分类下的图书信息，以“小说”为例，其实翻页特别简单，给几个比较以下：

翻页也很是简单，只不过有一点点坑的是，爬回来的连接在代码中，须要对其翻页，就须要把连接构造出来。对返回来的连接进行分析，发现仅仅是中间有四个数字不同。因而我把这几个数据取出来，在链接中传进去，这样能够构造通用的连接。

构造的翻页连接

接下来就是去抓取不一样页面的信息，没有异步加载，因此直接用xpath定位就OK。固然中间有一些小地方须要注意的是，每本书所包含的信息是不同的，因此用xpath去获取的时候不必定能获取到，就会出错。因而用到try……except语句。

最后总共爬到10000多行数据，对应不一样领域的10000多本高评分的书籍，固然会有一些重复计算，好比小说和文学，就有很多书是同时在这两个类目的。

当当网自己没有什么反爬机制，因此爬取也比较顺利。惟一的小麻烦就是抓回来的连接继续翻页和其中一些书籍中部分信息缺失的处理。

爬拉勾网职位信息

@楠生

原本就想从事“数据分析师”这个岗位，因此就想了解这个岗位的薪资、要求、以及在我所生活城市的主要分布点，而拉勾网是权威的互联网行业招聘平台，因此爬取拉勾网上的“数据分析师”职位信息有很好的表明性。

最终爬到的数据存在MongoDB中以下：

学习翻页的时候把引号添上运行时报了JSONDecodeError的错，本人被引号折腾了许久，分享出来但愿你们引觉得戒。

踩了两个坑以后，就开始作课后做业了，没想到对于一个新手来讲困难一茬茬。开始个人思路是找链接，可是采集的数据里没有链接，因此就点击进入详情页面，看有什么规律没？而后就尝试着屡次点击各详情页面，发现页面的数字和采集的某个数据能匹配。例如：

某个详情页面

找到突破口就开始行动：

DOC

request url\request method

屡次尝试（仍是费了一些时间）：request url和网址是同样的，那突破口就算找到，数据是DOC格式，request method :get,那就是又回到了熟悉的战场了。

思路：遍历positionId，用format,如：

详情网页

xpath方法获取数据

部分数据：

一次次尝试，优化后的代码，这个主要是学习和创做的过程（爬取详情页面是个人杰做)。

- 高效的学习路径 -

一上来就讲理论、语法、编程语言是很是不合理的，咱们会直接从具体的案例入手，经过实际的操做，学习具体的知识点。咱们为你规划了一条系统的学习路径，让你再也不面对零散的知识点。

说点具体的，好比咱们会直接用 lxml+Xpath取代 BeautifulSoup 来进行网页解析，减小你没必要要的检查网页元素的操做，多种工具都能完成的，咱们会给你最简单的方法，这些看似细节，但多是不少人都会踩的坑。

《Python爬虫：入门+进阶》大纲

第一章：Python 爬虫入门

一、什么是爬虫

网址构成和翻页机制

网页源码结构及网页请求过程

爬虫的应用及基本原理

二、初识Python爬虫

Python爬虫环境搭建

建立第一个爬虫：爬取百度首页

爬虫三步骤：获取数据、解析数据、保存数据

三、使用Requests爬取豆瓣短评

Requests的安装和基本用法

用Requests 爬取豆瓣短评信息

必定要知道的爬虫协议

四、使用Xpath解析豆瓣短评

解析神器Xpath的安装及介绍

Xpath的使用：浏览器复制和手写

实战：用 Xpath 解析豆瓣短评信息

五、使用pandas保存豆瓣短评数据

pandas 的基本用法介绍

pandas文件保存、数据处理

实战：使用pandas保存豆瓣短评数据

六、浏览器抓包及headers设置（案例一：爬取知乎）

爬虫的通常思路：抓取、解析、存储

浏览器抓包获取Ajax加载的数据

设置headers 突破反爬虫限制

实战：爬取知乎用户数据

七、数据入库之MongoDB（案例二：爬取拉勾）

MongoDB及RoboMongo的安装和使用

设置等待时间和修改信息头

实战：爬取拉勾职位数据

将数据存储在MongoDB中

补充实战：爬取微博移动端数据

八、Selenium爬取动态网页（案例三：爬取淘宝）

动态网页爬取神器Selenium搭建与使用

分析淘宝商品页面动态信息

实战：用Selenium 爬取淘宝网页信息

第二章：Python爬虫之Scrapy框架

一、爬虫工程化及Scrapy框架初窥

html、css、js、数据库、http协议、先后台联动

爬虫进阶的工做流程

Scrapy组件：引擎、调度器、下载中间件、项目管道等

经常使用的爬虫工具：各类数据库、抓包工具等

二、Scrapy安装及基本使用

Scrapy安装

Scrapy的基本方法和属性

开始第一个Scrapy项目

三、Scrapy选择器的用法

经常使用选择器：css、xpath、re、pyquery

css的使用方法

xpath的使用方法

re的使用方法

pyquery的使用方法

四、Scrapy的项目管道

Item Pipeline的介绍和做用

Item Pipeline的主要函数

实战举例：将数据写入文件

实战举例：在管道里过滤数据

五、Scrapy的中间件

下载中间件和蜘蛛中间件

下载中间件的三大函数

系统默认提供的中间件

六、Scrapy的Request和Response详解

Request对象基础参数和高级参数

Request对象方法

Response对象参数和方法

Response对象方法的综合利用详解

第三章：Python爬虫进阶操做

一、网络进阶之谷歌浏览器抓包分析

http请求详细分析

网络面板结构

过滤请求的关键字方法

复制、保存和清除网络信息

查看资源发起者和依赖关系

二、数据入库之去重与数据库

数据去重

数据入库MongoDB

第四章：分布式爬虫及实训项目

一、大规模并发采集——分布式爬虫的编写

分布式爬虫介绍

Scrapy分布式爬取原理

Scrapy-Redis的使用

Scrapy分布式部署详解

二、实训项目（一）——58同城二手房监控

三、实训项目（二）——去哪儿网模拟登录

四、实训项目（三）——京东商品数据抓取

- 每课都有学习资料 -

你可能收集了以G计的的学习资源，但保存后历来没打开过？咱们已经帮你找到了最有用的那部分，而且用最简单的形式描述出来，帮助你学习，你能够把更多的时间用于练习和实践。

考虑到各类各样的问题，咱们在每一节都准备了课后资料，包含四个部分：

1.课程重点笔记，详细阐述重点知识，帮助你理解和后续快速复习；

2.默认你是小白，补充全部基础知识，哪怕是软件的安装与基本操做；

3.课内外案例提供参考代码学习，让你轻松应对主流网站爬虫；

4.超多延伸知识点和更多问题的解决思路，让你有能力去解决实际中遇到的一些特殊问题。

某节部分课后资料

- 超多案例，覆盖主流网站 -

课程中提供了目前最多见的网站爬虫案例：豆瓣、百度、知乎、淘宝、京东、微博……每一个案例在课程视频中都有详细分析，老师带你完成每一步操做。

另外，咱们还会补充好比小猪、链家、58同城、网易云音乐、微信好友等案例，提供思路与代码。

屡次的模仿和练习以后，你能够很轻松地写出本身的爬虫代码，并可以轻松爬取这些主流网站的数据。

- 技能拓展：反爬虫及数据存储、处理 -

懂得基本的爬虫是远远不够的，因此咱们会用实际的案例，带你了解一些网站的反爬虫措施，而且用具体的技术绕过限制。好比异步加载、IP限制、headers限制、验证码等等，这些比较常见的反爬虫手段，你均可以很好地规避。

工程化的爬虫、及分布式爬虫技术，让你有获取大规模数据的可能。除了爬虫的内容，你还将了解数据库（Mongodb）、pandas 的基本知识，帮你存储爬取的数据，同时能够对数据进行管理和清洗，你能够得到更干净的数据，以便后续的分析和处理。

用 Scrapy 爬取租房信息

爬取拉勾招聘数据并用 MongoDB 存储  最后注意无论你是为了Python就业仍是兴趣爱好，记住：项目开发经验永远是核心，若是你没有2020最新python入门到高级实战视频教程，能够去小编的Python交流.裙 ：七衣衣九七七巴而五（数字的谐音）转换下能够找到了，里面不少新python教程项目，还能够跟老司机交流讨教！

本文的文字及图片来源于网络加上本身的想法,仅供学习、交流使用,不具备任何商业用途,版权归原做者全部,若有问题请及时联系咱们以做处理。