学习python作爬虫主要学习哪些内容呢?

　　爬虫，被称为网络机器人，如今爬虫在咱们生活中具备很是重要，能够解决不少繁琐的过程，而python做为爬虫的首选语言，受到不少人的关注和喜欢。那么学习python作爬虫主要学习哪些内容呢?为你们介绍一下。

　　一、须要了解html相关的知识：html是一种标记语言并非很难学，它是超文本标记语言，标准通用标记语言下一个应用。Python网络爬虫学习，不须要你深刻学习html，只要知道掌握它经常使用的简单标签跟知识点就行。

　　二、urllib、urllib2两个库：是进行网页抓取时候会使用到的，在python中，urllib、urllib2两个库不可相互替代，虽然urllib2比urllib加强，可是urllib有urllib2没有的函数。

　　urllib2，能够用urllib2openurl中设置Request参数，来修改Header头。当你访问一个文章，须要更改User Agent，也须要用它。

　　urllib支持设置编码的函数，urllib.urlencode进行模拟登录的时候，常常要POST编码以后的参数，不想要使用第三方进行登录，你须要使用urllib。

　　三、python scrapy：scrapy是应用最为普遍的爬虫框架，没有之一，也是成熟度最高的框架，能够利用成熟的产品，避免造轮子，能够快速的构建项目。

　　scrapy也是python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web框架并从页面提取结构化的数据，用途普遍，能够应用在数据挖掘、监测和自动化测试。