python之爬虫

概述

近年来，随着网络应用的逐渐扩展和深刻，如何高效的获取网上数据成为了无数公司和我的的追求，在大数据时代，谁掌握了更多的数据，谁就能够得到更高的利益，而网络爬虫是其中最为经常使用的一种从网上爬取数据的手段。
网络爬虫，即Web Spider，是一个很形象的名字。若是把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是经过网页的连接地址来寻找网页的。从网站某一个页面（一般是首页）开始，读取网页的内容，找到在网页中的其它连接地址，而后经过这些连接地址寻找下一个网页，这样一直循环下去，直到把这个网站全部的网页都抓取完为止。

爬虫的价值

互联网中最有价值的即是数据，好比天猫商城的商品信息，链家网的租房信息，雪球网的证券投资信息等等，这些数据都表明了各个行业的真金白银，能够说，谁掌握了行业内的第一手数据，谁就成了整个行业的主宰，若是把整个互联网的数据比喻为一座宝藏，那咱们的爬虫课程就是来教你们如何来高效地挖掘这些宝藏，掌握了爬虫技能， 你就成了全部互联网信息公司幕后的老板，换言之，它们都在免费为你提供有价值的数据。

 

爬虫学习目录:

(一) jupyter notebook环境安装

(二) Python网络爬虫相关基础概念

(三) http和https协议

(四) Python网络爬虫之requests模块一

(五) Python网络爬虫之三种数据解析方式

(六) Python网络爬虫之requests模块二

(七) 验证码处理

(八) Python网络爬虫之图片懒加载技术、selenium和PhantomJS

(九) 高性能异步爬虫

(十) scrapy框架简介和基础应用

(十一) scrapy框架持久化存储

(十二) scrapy框架之递归解析和post请求

(十三) scrapy框架的日志等级和请求传参

(十四) UA池和代理池

(十五) scrapy中selenium的应用

(十六) Python网络爬虫之Scrapy框架（CrawlSpider）

(十七) 基于scrapy-redis两种形式的分布式爬虫

(十八) 增量式爬虫

(十九) Pyppeteer模块的基本使用

(二十) 移动端数据爬取