Python2.7 urllib&&urllib2学习

       urllib模块提供一些简单的函数从url中读取数据,可是urllib没有高级定制功能,可使用urllib2。在urllib中使用最多的是urlopen函数。  缓存

       urlopen(str_url,data)访问一个给定的url,而后返回一个只读的文件对象t,文件对象t可使用read、readline、readlines、close等方法。t.geturl()返回t的url。在data为None,而且str_url为http协议时,urlopen发送一个GET请求,在data不是None时,str_url的协议必须是http,urlopen则发送的是POST请求,data的数据必须是URL编码形式,通常能够用urlencode函数处理data数据。 cookie

       urlencode(query)以query的url编码形式返回一个字符串,query能够是一个由(key/value)数据对组成的序列。这也是urllib用的比较多的函数。
函数

       urlretrieve(str_url,filename,data)相似urlopen,可是返回的是一个数据对(f,m),f是一个指定到本地文件系统上的一个文件的路径,m是mimetools模块message类的一个实例。filename为None时,urlretrieve将把提取的数据复制到一个临时的本地文件中,而f是该临时文件的本地路径,若是filename不是None时,将把提取的数据复制到名为filename的文件中。
ui

       urlcleanup()清除urlretrieve函数的缓存。
编码

       urllib2比urllib功能要丰富,urllib2提供了一个和urllib.urlopen()相似的函数也叫urlopen。要想自定义urllib2,则在调用urlopen函数以前,使用build_opener()和install_opener()函数安装被组合到一个opener的任意数量的处理程序。
url

       handler类,这个类能够用做任何自定义类的超类。
spa

       openerdirector类的实例d能够收集handler类的实例,并综合使用这些实例打开各类协议的url。一般能够经过build_opener函数建立实例d,而后调用Install_opener函数安装该实例。
code

       build_opener(handler)建立并返回一个opendirector类的一个实例和给定的参数handler,每一个程序均可以是basehandler类的一个子类,能够不带参数进行实例化。
对象

       install_opener(opener)安装opener做为进一步调用urlopen的打开程序,opener能够是request类的一个实例 
内存

       urlopen(str_url,data)行为和urllib.urlopen一致,不过自定义行为是经过opener和handler类实现的。

       Request类,能够向urlopen函数传递Request类的一个实例,而不是一个url字符串,这样能够具体的实例化一个url。 Request(str_url,data,hander),str_url是request类这个实例具体化的一个url,在没有data和hander的状况下就和调用urllib2.urlopen(str_url)效果同样。若是data不为None,request将对新实例隐式调用其方法add_data(data)。hander必须是一个从首部名称到首部值的映射。

       urllib2.HTTPCookieProcessor(cookiejar)一个管理http cookie的类。默认状况下使用cookielib.CookieJar对象。

        cookielib模块定义了一个能够自动加载http cookies。为存储和管理cookie提供了客户端支持。该模块能够提供存储cookie的对象,以便urllib包配合使用。

        CookieJar()管理HTTP cookie值,存储HTTP请求生成的cookie,向传出的HTTP请求添加cookie对象,整个cookie都存储在内存中,对cookiejar实例进行回收后cookie的内容也将被回收。

        FileCookieJar(filename)建立filecookiejar实例,将cookie存储到文件中,filename是文件名。 

相关文章
相关标签/搜索