用python爬取某美剧网站的下载连接(一)

       心血来潮, 想要了解一下爬虫的基本原理, 本着目的驱动的原则, 想要把某美剧下载网站上的汇集下载连接都爬下来,我的收藏;  第一次写, 不是什么教程,只是记录一下本身的思路和一些留着之后深刻的点, 写的太乱,还请轻喷..

         既然是目的驱动,所以每一个涉及到的点在本文中都点到为止,接下来我本身也会逐步更深刻的了解, 文章只是一个备忘录, 以避免稍后遗忘;

         一个最简单的爬虫,一般有着类似的设计思路:  从一个页面开始, 分析获得全部感兴趣的内容(保存)和连接, 再依次访问这些连接进行一样的操做, 直到不能继续为止:

        1. 记住已经访问过的连接,再次遇到时不会访问,避免陷入循环(x)

        2. 以合适的结构和方式存储获取到的数据(x)

        由于本文的目的和对应的网站的连接及富有规律性, 且要爬取得内容也很明确(而不是像搜索引擎同样几乎要保存全部内容),所以以上两点均不涉及, 最后只是简单的使用XML保存拿到的数据;

一.  分析对应的站点:

       版权问题, 这里掩码了目标网站;

       本文要爬取的网站,首先有一个分页的目录, 每页展现一部分美剧的简介和详情页面的连接, 这个页面的地址是:  http://www.xxxxx.net/ddc1/page/x  末尾的x是从1开始的天然数;

       详情页面的地址是 http://xxxxx.net/archives/xxxxx/ 末尾的xxxxx是随机的1-5位数,无规律,并不是每一个数字都有页面, 所以详情页面的连接,须要从目录页面提取,以避免作不少无用的工做;

       目录页面, 每一部剧都在一个class为thumbnail的div中:

<div class="thumbnail">
   <a href="http://xxxxx.net/archives/23352/" rel="bookmark" title="生存指南第一季/全集Cooper Barrett.迅雷下载">
     <img class="home-thumb" src="http://xxxxx.com/soohf5.jpg" width="140px" height="100px" alt="生存指南第一季/全集Cooper Barrett.迅雷下载"/>
   </a>
 </div>

    所以能够很方便的使用下面的正则表达式取出咱们须要的内容:

<div>.*?<a href="(.*?)" rel="bookmark" title="(.*?)">

   同理,分析详情页面, 咱们获得了下面的正则表达式,取出全部的下载连接:

<a href="((magnet|ed2k):.*?)">(.*?)</a>

    .*? 这个问号,表示着咱们须要最小匹配, 由于页面中有着不少循环的内容;

二. http请求

     使用urllib2来进行http请求;

     首先使用urllib2.Request来封装一次请求, 其中第二个参数,设置了一个header,其中模拟了User-Agent为IE, 简单的以避免部分网站拦截咱们的爬虫;

     最后,对获取到的page,作utf-8解码, 成为unicode (python内部的字符串都是unicode的)

self.header = {
     'User-Agent': 'Mozilla/4.0 (compatible; MSIE 9.0; Windows NT)'
}
url = self.DIC_LINK + str(page_no)
req = Request(url, headers=self.header)
response = urlopen(req)
cur_page = response.read()
unicode_page = cur_page.decode("utf-8")

urlopen方法可能会抛出异常(HTTPError, URLError), HTTPError继承自URLError, 所以应优先捕获HTTPError; HTTPError的code, 是一个整形数, 也就是咱们常见的404, 500等http返回码, 通过测试,目录列表的地址,当页数超过了已有的最大页数的时候,网站会返回404, 因此能够把这个看成一个结束的标识;

三. 正则表达式

     python的正则表达式用起来很顺手, 引入 re 模块就能够愉快的使用了;

    首先使用compile方法得到模式对象, 注意第二个参数 re.S ,使得 . 能够匹配换行符

    而后调用findall方法,就能得到全部的匹配了;

    正则表达式中, 括号() 围起来的,会成为一个分组, 从左到又, 每遇到一个(, 则分组加1, 所以咱们获得的items数组中, 每个元素,又是一个数组, 这个数组的第一个元素为连接, 第二个元素为title的值;

    reg_str = r'<div>.*?<a href="(.*?)" rel="bookmark" title="(.*?)">'     
    reg = re.compile(reg_str, re.S)     
    items = re.findall(reg, unicode_page)

四. 结构

     下面,能够开始组装逻辑了;

      简单的先将须要访问的连接存在一个队列中, 每次从队列中取出连接访问,获取内容;

      这样就将爬取目录页面和详情页面的逻辑分开了;

    下面是目录页面的方法:

def get_show_thread(self):
    end = False
    for page_no in range(1, 9999):
        if end:
            break
        url = self.DIC_LINK + str(page_no)
        req = Request(url, headers=self.header)
        flag = True
        while flag:
            try:
                response = urlopen(req)
                cur_page = response.read()
                unicode_page = cur_page.decode("utf-8")
                self.get_show(unicode_page)
                flag = False
            except HTTPError, e:
                print e
                if e.getcode() == 404:
                    self.total = self.total_count
                    end = True
                    break
            except URLError:
                sleep(1)
                
def get_show(self, unicode_page):
    reg_str = r'<div class="thumbnail">.*?<a href="(.*?)" rel="bookmark" title="(.*?)">'
    reg = re.compile(reg_str, re.S)
    items = re.findall(reg, unicode_page)
    self.total_count += len(items)
    for item in items:
        self.show_link.append(item)

     使用一个数组show_link,保存要访问的详情页面的连接;

    接下来,主线程中, 不断访问show_link, 若是其中有连接, 便取出来访问, 爬取详情页面的下载连接, 以后把这个连接从数组中删除;

def get_download_link(self):
    while True:
        if len(self.show_link) > 0:
            url = self.show_link[0][0]
            notice = u'抓取' + url.encode('utf-8')
            notice += (r' ' + str(self.count) + r'/' + str(self.total_count))

            print notice
            req = Request(url, headers=self.header)
            response = urlopen(req)
            cur_page = response.read()
            unicode_page = cur_page.decode("utf-8")

            reg_str = r'<a href="((magnet|ed2k):.*?)">(.*?)</a>'
            reg = re.compile(reg_str, re.S)
            items = re.findall(reg, unicode_page)

            self.save_links(items, self.show_link[0][1])
            del self.show_link[0]
        else:
            sleep(0.5)

   --TODO-- 最后,咱们按照格式,将获得的数据保存为xml文件  --TODO--

  下一篇记录下xml事;

上文中的代码,是截取自完整的代码, 里面有不少变量和一些print, 主要是便于在查看运行进度(1000多个网页,在一台机器顺序执行,且没有作性能优化,所以是很费时间的....);