从零开始学python网络爬虫

你们好哈，最近博主在学习Python，特别是网络数据采集（爬虫）。学习期间也碰到了一些问题，在解决问题的同时也大量参看了网上了一些资源，得到了一些经验。因此但愿能将学习过程当中碰到的问题一并记录下来，同时也跟你们分享一下学习的过程，共同交流提升！


学习Python版本主要基于2.7的版本，Python3.0的没有相应的研究。


（1）首先网络爬虫是什么？

网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照必定的规则，自动的抓取万维网信息的程序或者脚本。

（2）为何要学习网络爬虫呢？

经过网络爬虫，能够应用到经济数据的分析，电商数据的分析，社交网络的分析，甚至能够爬取到你想看的某些电影，有木有！

（3）如何开始学习python爬虫？ 

学习python爬虫须要作好相应的思想准备，就是你须要不停的学习各类相关的知道。从数据爬取，分析，到数据存储，展示。我应用一个知乎上网友的发帖，同时也是我本身的步骤，与你们共勉！

总结一下，从零开始学python网络爬虫，须要学习如下知识：

（1）python基础知识，包括list，dict数据结构以及re正则表达式

（2）python数据结构库Numpy，Pandas

（3）python 获取网页源代码及分析库requests，beautifulSoap，lxml等

（4）python 渲染js工具selenium库

（5）python 数据库存储 mysql等

（6）python django，flask等web开发框架

（7）python scrapy，pyspider等开发框架

（8）高性能，并发，多线程

（9）代理ip池等

因此说，学习python爬虫，就好像掉入了一个坑，一个不断学习的坑！

一路走来不容易啊，且行切且珍惜！（夜有点晚了，喝杯伊利牛奶，准备睡了，不能再写文章了！）

下面让咱们正式进入爬虫之旅吧，一块儿一步一步攻克这些问题！