python-59: 基础篇完

经历了这漫长的时间，咱们的基础篇终于讲完了，来讲几个问题

1. 基础篇主要讲了什么

基础篇咱们主要是使用urllib,urllib2和cookielib这几个库来说解爬虫的几个实例，为何要选择这几个库呢？由于这是python自带的库函数，我在学习的时候以为它不是很好用，一样的功能，使用其余的库函数的话过程会简单不少，可是，这个库能让咱们很好的理解爬虫的一些过程，了解一些基本的原理，而这些知识在后面更深刻的学习中是很重要的，因此我选择了这几个库来进行学习

咱们的基础篇从python的基础知识开始，而后了解爬虫的基本知识，学习最简单的爬虫程序，而后开始进入到四个实例的讲解，首先是访问网页获取一些咱们想要的信息，而后将喜欢的信息下载到本地，后来发现不少的网站是须要登陆才能进行爬取的，因此咱们又学习了怎么模拟登陆，模拟登陆以后，又加上了对验证码机制的处理方法，整个过程是按部就班的，很庆幸最终能将它们写完

2. 学完基础篇咱们能干什么

学完基础篇以为也不是很难，因此可能会有疑问，学完基础篇咱们能干什么？

首先要明确一个概念，爬虫能够作什么，你可能说爬虫能够爬取网页，能够帮咱们登陆网站，可是咱们作的这一切事情最终都是一个目的：获取数据。数据这个概念是近几年提出来并且也愈来愈火的一个概念，我虽然没接触过什么大数据，可是我也有本身想获得的数据，好比我喜欢看漫画，可是我不能老是在网页上看，生活中没有网络的状况多得是，因此我但愿能把这些漫画下载到本地，既能够很方便的看，也能够拿来收藏存档什么的，我如今就可使用咱们前面学到的知识来实现这个想法，或者说，我喜欢玩LOL，我常常会看一些视频来学习，可是我以为官网上的布局不是很合理，我想要从新弄一个本身用得顺手的工具，我也可使用爬虫从官网上下载这些视频或者是网页连接，而后我本身设计一个网页或者是应用程序，来达到个人目的，或者对于男生来讲，常常喜欢一些小图片，小电影，爬虫一样可以让你实现这些想法，固然，爬虫能够作的事情还不只仅是这些，我以为不该改局限或者拘泥于一些空间，世界那么大，为何不试着爬爬看

说到这里，我想起一个事情，绝大多数的人在学习完编程基础以后都会问一个问题，我刚学完python基础，我可以作什么，或者说有没有什么比较简单的项目来练手，我以前也是这样的，可是，某天看到一句话彻底改变了个人想法，大意是这样的，学习完基础以后你能够重复一些不少人作过的事情，好比写个记事本，写个播放器什么的，可是，最好的状况应该是，作一些方便本身也方便别人的工具，因此在我平时的工做生活中，我开始留意一些事情，好比，这个记事本怎么这么难用啊，这个操做为何只能使用命令执行，好麻烦，而后，我就真的发现不少须要改变的地方，并且，我也开始试着使用编程去实现一些功能，让本身的生活更方便，目前我只能作到一半，我尚未能力达到方便别人的地步，可是至少我能够用本身所学的知识来帮助本身实现一些想法，这总比作数学题强多了

3. 接下来咱们学习什么

python有不少的库，或者说，模块，咱们前面学习的只是很小很小的一部分，因此咱们接下来将会学习另外的一些库，这些库是为了咱们更简单更高效的实现某些功能而设计出来的，这些就是方便本身也方便别人的工具，至于要学习什么库，我将会在下一篇把python 爬虫的一些有用的库列举出来，而后选择感兴趣的库去学习，可是，前面的基础篇为了讲解一些http的基础知识或者是一些基本的概念，咱们花了太多时间，以至于关于python的一些知识，咱们都没可以进行讲解，因此在接下来的内容里，我但愿能把咱们的代码弄得好看一些，由于python自己就是一门很优雅的语言，固然，其余的知识咱们仍是会尽可能多的给你们讲解

4. 写到这里的感想

这里主要想讲一些事情，姑且叫作学习方法吧

我前面看的是郝斌老师的一套视频，是C语言的，他里面有几个学习的模式我很喜欢，这也体如今我前面的文章里

1. 问问题，起初我发现他讲的内容颇有条理性，让我听着很舒服，后面我慢慢的意识到，他在讲解每一个知识点的时候，都遵循着一个流程，叫什么？是什么？作什么？怎么用？，这是他的一个大体固定的流程，而后我试着把这个流程套用到个人工做中，我发现这能够给我提升一些效率，固然，随着事情的不一样，问题也不尽相同，可是这种方式仍是很好的
   

2. 验证某个功能的时候流程尽可能简单，你们看我前面写的也能够看出来，我在验证某些问题的时候，会把全部不相关的东西去掉，而后单独实现这个功能，验证成功以后再把功能加进去，这是避免一些没必要要的错误和麻烦的好方法，调试5行代码总比调试50行代码要简单得多

3. 使用已经学的知识去推理或者验证某些东西，像前面的cookies的比较中，我使用到的所有都是已经学习的知识，不一样只是把一些数据输出出来而已，可是咱们仍是能够验证咱们的想法，同时，也巩固了咱们前面的知识