Python request库与爬虫框架

Requests库的7个主要方法
  requests.request()：构造一个请求，支持如下各方法的基础方法
  requests.get()：获取HTML网页的主要方法，对应于HTTP的GET
  requests.head():获取HTML网页头信息的方法，对应于HTTP的HEAD
  requests.post():向HTML网页提交POST请求的方法，对应于HTTP的POST
  requests.put():向HTML网页提交PUT请求的方法，对应于HTTP的PUT
  requests.patch():向HTML网页提交局部修改请求，对应于HTTP的PATCH
  requests.delete():向HTML网页提交删除请求，对应于HTTP的Delete
HTTP协议对资源的操做（6种）与以上方法一一对应
  GET:请求URL位置的资源
  HEAD：请求获取URL位置资源的响应消息报告，即得到该资源的头部信息
  POST：请求向URL位置的资源后附加新的数据
  PUT：请求向URL位置存储一个资源，覆盖原URL位置的资源
  PATCH：请求局部更新URL位置的资源，即改变该处资源的部份内容
  DELETE：请求删除URL位置存储的资源
【注】PATCH和PUT的区别
  假设URL位置有一组数据UserInfo，包括UserID,UserName等20个字段
  需求：用户修改了UserName，其余不变
  *采用PATCH方法，仅向URL提交UserName的局部更新请求
  *采用PUT方法，因为他会覆盖原有URL位置资源，
  因此必须将全部20个字段一并提交到URL，未提交字段被删除
  比较PATCH和PUT看出
    Patch的最主要好处：节省网络带宽
HTTP协议：HypertextTransferProtocol,超文本传输协议
它是一个基于"请求与相应"模式的、
无状态的（第一次请求和第二次无相关关联）应用层协议
它通常采用URL做为网络资源的标识
URL是经过HTTP协议存取资源的Internet路径，一个URL对应一个数据资源
URL格式以下 http://host[:port][path]
host:合法的Internet主机域名或IP地址
port:端口号，缺省（默认）端口为80P
path:请求资源的路径
当咱们向URLPOST一个字典或POST一个键值对时会默认地被存储到表单form的字段下
当咱们向URLPOST字符串时会默认地被存储到data的字段下
服务器会根据提交的数据类型不一样进行相关的整理
PUT方法相同，可是会把原有数据覆盖掉

'''
requests.request(method,url,**kwargs)
method:请求方式，对应get/put/post等7种
requests.request('GET',url,**kwargs)
requests.request('HEAD',url,**kwargs)
requests.request('POST',url,**kwargs)
requests.request('PUT',url,**kwargs)
requests.request('PATCH',url,**kwargs)
requests.request('delete',url,**kwargs)
requests.request('OPTIONS',url,**kwargs)
#向服务器获取一些与客户端打交道的参数，不与资源直接相关因此使用较少
url:拟获取页面的url连接
**kwargs：控制访问参数，共13个

'''

#显式定义的参数放在了形参里面，不怎么用的放在了可选里面
'''
###########################最经常使用
requests.get(url,params=None,**kwargs)
url:拟获取页面的url连接
params:url中的额外参数，字典或字节流格式，可选
**kwargs：12个控制访问参数（request方法中除了param以外的12个）
'''

'''
requests.head(url,**kwargs)
url:拟获取页面的url连接
**kwargs：13个控制访问参数
'''
'''
requests.post(url,data=None,json=None,**kwargs)
url:拟获取页面的url连接
data:字典、字节序列或文件，Request的内容
json:JSON格式的数据，Request的内容
**kwargs：11个控制访问参数（除了以上两个的11个）
'''
'''
requests.put(url,data=None,**kwargs)
url:拟获取页面的url连接
data:字典、字节序列或文件，Request的内容
**kwargs：12个控制访问参数（除了以上1个的12个）
'''
'''
requests.patch(url,data=None,**kwargs)
url:拟获取页面的url连接
data:字典、字节序列或文件，Request的内容
**kwargs：12个控制访问参数（除了以上1个的12个）
'''
'''
requests.delete(url,**kwargs)
url:拟获取页面的url连接
**kwargs：13个控制访问参数
'''

'''
爬取网页的通用代码框架
通用代码框架：一组代码，能够准确的爬取网页上的内容
用request库进行网页访问的时候常常用get函数
requests.get(url)得到url的相关内容
可是网络链接有风险
这样的语句并非必定成立的，因此异常处理很重要
request库支持6种经常使用的链接异常
'''
#request.ConnectionError:网络链接异常，如DNS查询失败、拒绝链接等
#request.HTTPError:HTTP错误异常
#request.URLRequired:URL缺失异常
#request.TooManyRedirects:超过最大重定向次数，产生重定向异常
#request.ConnectTimeout:链接远程服务器超时异常
#request.TimeOut:请求URL超时，产生超时异常
'''
Response类与异常打交道的方法
r.raise_for_status():若是不是200，产生异常request.HTTPError
判断返回的response类型状态是否是200
'''
import requests
def getHTMLText(url):
  try:
    r=requests.get(url,timeout = 30)#,timeout = 30
    r.raise_for_status()#若是状态不是200，引起HTTPError异常
    r.encoding = r.apparent_encoding
    #防乱码
    return r.text
  except:
    return "产生异常"
if __name__=="__main__":
  url="http://www.baidu.com"
  print(getHTMLText(url))