爬虫基础入门（一）

• 1 URL含义
  URL的格式由三部分组成：
  ①第一部分是协议(或称为服务方式)。
  ②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
  ③第三部分是主机资源的具体地址，如目录和文件名等。
• 2 分析扒网页的方法

response = urllib2.urlopen("http://www.baidu.com")

首先调用的是urllib2库里面的urlopen方法，传入一个URL，这个网址是百度首页，协议是HTTP协议，固然你也能够把HTTP换作FTP,FILE,HTTPS 等等，只是表明了一种访问控制协议，urlopen通常接受三个参数，它的参数以下：

urlopen(url, data, timeout)

第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
第二三个参数是能够不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必需要传送的，在这个例子里面咱们传送了百度的URL，执行urlopen方法以后，返回一个response对象，返回信息便保存在这里面。

print response.read()

response对象有一个read方法，能够返回获取到的网页内容。记得必定要加read方法，不然它不出来内容咯！

• 3 构造Requset

import urllib2
request = urllib2.Request("http://www.baidu.com")
response = urllib2.urlopen(request)
print response.read()

• 4 POST和GET数据传送

---

Urllib库的高级用法

• 1 设置Headers
• 2 Proxy（代理）的设置
• 3 Timeout 设置
• 4 使用 HTTP 的 PUT 和 DELETE 方法
  http协议有六种请求方法，get,head,put,delete,post,options

• 5 使用DebugLog

  来自

  Python爬虫入门四之Urllib库的高级用法