实战（一）之使用自带urllib和re正则表达式获取电影详情页连接

1、关于urllib库

网上urllib库的教程文章很是多并且详细具体，我就不过多叙述和重复了，我的更加倾向于将精力放在实战上，而不是反反复复拷贝教程（实际上是由于我懒），来几篇干货参考。

python2:

1. Python爬虫入门三之Urllib库的基本使用
2. Python爬虫入门四之Urllib库的高级用法

python3:

3.python爬虫从入门到放弃（三）之 Urllib库的基本使用

正则表达式re:

1.菜鸟教程--python正则表达式

2.python爬虫从入门到放弃（五）之 正则的基本使用

2、思路：

以爬取www.ygdy8.com这个电影下载网站为例子。

1.打开浏览器，搜狗或者chrome均可以，访问该网站，以爬取最新电影这个栏目的电影为例，咱们能够找到这个板块首页的url为： http://www.ygdy8.com/html/gndy/dyzz/index.html， 再点击下一页，会发现页码的url为 http://www.ygdy8.com/html/gndy/dyzz/list_23_2.html， 由此可知，每一页的url为： http://www.ygdy8.com/html/gndy/dyzz/list_23_+页数.html

2.在将鼠标移动到电影名字上右键，审查元素，这里易会发现电影详情页的连接为****

将鼠标移动到末页字眼右键，审查元素，这里会发现总共有167页。

3.根据上面的分析查找，基本能够按照这样的思路进行爬取了。

1.先请求index最新电影板块首页，获取到最大的页数。 2.循环构造页码连接，请求获取全部的带有电影列表的页面。 3.在获取到页面基础上，得到电影列表的全部电影详情页连接，为下一步提取电影的标题，迅雷连接作准备。

3、开始动手

一、构造一个urllib请求页面的opener，尽可能模仿浏览器，减小被禁的风险。

# -*- coding:utf-8 -*-
#!/usr/bin python
import urllib.request
import re
import time
import random
from decorator import fun_timer

#构建一个模仿浏览器的opener
base_url = 'http://www.ygdy8.com'
#浏览器请求头，这里用的是搜狗浏览器
user_agents=[('User-Agent','Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8; en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50'), ]
    Headers = [ random.choice(user_agents),
            ("Connection","keep-alive") ]
    #构建opener
opener = urllib.request.build_opener()
    #添加请求头
opener.addheaders=Headers
复制代码

二、构造请求首页，获取最大页码数的方法。

# 一、获取最大的页码数
# 二、你能够到页面查看最大页码数，可是页码数是会不断增长的，
      #若是你要自动化反复去爬取，就须要进行页码数的自动获取。

def get_pageNum():
    url = "http://www.ygdy8.com/html/gndy/dyzz/index.html"
    data = opener.open(url).read()
   #上面的分析已经知道页码的连接是以 list_23_页数.html结尾的，能够匹配正则表达式来查找。
    res = re.findall(r'list\_23\_[0-9]*', str(data))
    if res:
        page_num = res[-1].split("_")[-1]
        print('获取到页码数%s'%page_num)
        return int(page_num)

复制代码

三、知道页数后，就能够循环构造连接进行爬取了。

#根据页数爬取每页的电影列表
def find_by_page(page = 1):
    if page%10==0:
       #每隔10页进行延时，防止ip被禁
        time.sleep(random.randint(1,3))
    url = "http://www.ygdy8.com/html/gndy/dyzz/list_23_%s.html" % (str(page))
    data = opener.open(url).read()

# 正则表达式获取连接
#由于页面的左侧会有其余类别电影板块的外链，因此要先定位到class为co_content8的目标板块，
       #再获取板块里的全部连接。

    res = re.findall(r'class\=\"co\_content8\"[\s\S]*\<\/ul\>', str(data))[0]
    res = re.findall(r'\/html\/gndy[/a-z]+[0-9/]{1,}\.html', str(res))
    urls = [base_url + url for url in res]
    print('爬取第%s页: '%page+str(urls))
    return urls


#汇总全部的列表，上面的函数是每页返回一个电影详情页连接列表

def get_urls(pages=1):
    all_url = []
    for page in range(1,pages+1):
         for r in find_by_page(page):
                 all_url.append(r)
    #去重
    all_url= set(all_url)
    print('获取到%s条连接'%len(all_url))
    return all_url
复制代码

四、最后开始爬取并输出到TXT文件上。

if __name__ == "__main__":
    out = ''
    for url in get_urls(get_pageNum()):
        url = str(url)+'\n'
        out= out+url
    with open('all_urls.txt','w') as f:
        f.write(out)


复制代码

4、总结

其实总结起来，简单小规模的爬虫无非就是分析页面---请求页面--获取目标元素--保存等若干步骤，可是真正动起手来，就会遇到各类问题，解决问题也是一个进步的过程。 解决ip被禁有不少种途径，例如使用代理ip，模拟登录，随机延时请求，本次我是简单粗暴地每隔10页进行随机的延时。 这样咱们获取到全部目标电影的详情页连接，下一步就是进行详情页的分析爬取了，这涉及到动态加载页面的爬取，将放到后面几篇分享哈，下一篇，将介绍使用第三方库requests库和xpath匹配爬取详情页连接哟。