python-34:极视界爬虫总结

咱们的第二个例子到这里也要结束了,相对于第一个来讲,这个实例更加深刻,涉及到了更多的模块和方法,可是经过一步步的实践下来,你会发现这其实不难,由于咱们有不少的网上的资源,你只要知道你想要作什么,你不清楚什么而后一个一个的去查就好了,这是一种获取知识的方法,方法远比知识重要,我但愿你们能在拿到一个实例,一道题目,一个项目或者遇到什么问题以前,先想清楚,把大的问题分红一个个小的问题,而后解决小问题,最后再汇总成大问题的解决方案

好了,来看看咱们第二个实例用到了什么新的知识
    1. 为了建立保存图片的文件夹,咱们引入了 os 模块
        os 模块能让咱们使用计算机系统中的一些命令
    2. 为了实现图片下载的功能,咱们引入了 urllib 模块
        跟 urllib2 同样,urllib 是 python 自带的一个模块,它能被调用来实现某些功能
        
既然讲到这里,那咱们就来讲说 python 中的模块
模块是 python 中的一个很重要的概念,若是感兴趣的话,能够去查看 python 的官方文档:http://python.usyiyi.cn/python_278/tutorial/index.html
这里顺便推荐一些我使用的书籍和网站,书籍会放到网盘中而且不断更新
1. python 中文官方文档库:http://python.usyiyi.cn/
1. python 中文官方教程:http://python.usyiyi.cn/python_278/tutorial/index.html
2. 菜鸟教程网:http://www.runoob.com/python/python-tutorial.html
3. 廖雪峰python教程:http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000
4. 书籍网盘连接:

这是我经常使用到的一些网站,主要用来查看python的一些基础语法,或者是一些知识概念我不是很理解的时候加深学习,有时也会做为一些拓展给有兴趣的人看,后面的学习确定也会遇到一些好的网站,到时候我会一一贴出来
    
说回模块,这里我依然不想把教程里的概念搬出来,里面的东西讲得很拗口,一些专业术语会给咱们的理解带来困难,我最多看10行就看不下去了,并且我以为如今还不是时候,咱们目前只须要知道我要实现什么东西,为了实现这个,我须要用到什么模块,因此用个人话来讲,模块是一个能让你实现某些功能的工具集。
就拿urllib2这个模块来讲,这个模块能让我实现爬取网络资源的功能,它的实现的方式是我要调用这个模块里面的一些方法,好比使用urllib2.Rquest() 方法来构造请求,使用 urllib2.urlopen() 来发送请求打开网页,这每个方法都是一个工具,能让我实现不一样的功能,因此说,这整个模块就是一个工具集

python 中的模块是很是多并且全面的,python程序实际上就是使用各类模块来实现本身想要的功能,曾经看到过一句话,大意是说,python之因此那么好用,就是由不少的模块支撑起来的,因此学python不学习这些模块的使用,至关与白学。

关于各个模块,python都会有相应的文档,包括模块的功能,里面的方法,使用的例子等等,这些完善的社区和线上资源是学习python很好的工具,你们应该多尝试学习这些文档

到目前为止,咱们使用到的模块有4个,正则表达式模块 re,系统模块 os,网络模块 urllib 和 urllib2
re 和 os 模块咱们这里不作过多的描述,咱们主要讲一下爬虫的核心 urllib 和 urllib2 模块


html

相关文章
相关标签/搜索