python爬取京东手机图片

关于爬取京东手机图片：以前一直使用python2加xpath来完成这个任务。本篇介绍如何使用python3加正则表达式来完成。使用的书籍《精通Python网络爬虫》中的案例代码不太适用了，在这里稍做改进。

首先来观察网站，进入京东首页，点击“手机/运营商/数码”中的手机，再点击“热门分类”中的“所有手机”。

（1）观察网址：点击下面的页数观察网址变化，能够获得有规律的网址“https://list.jd.com/list.html?cat=9987,653,655&page=1”。

（2）点击右键选择检查（我用的google浏览器），观察手机部分的源代码，构造第一个正则表达式：part1='<div id="plist".+? <div class="page clearfix">'。（3）根据第一个正则表达式获得全部手机图片所在框架的源码，再构造第二个正则表达式：part2='<img width="220" height="220" data-img="1".+?>'。全部的图片连接都在获得的列表里面。

（4）在获得的列表里面进一步抽取图片的连接，即src中的内容。part3='//.+?\.jpg|//.+?\.png'。

能够根据page构造一个for循环选择要爬取的页面。

（5）代码能够成功运行，若有疑问请留言

import re
import urllib.request

def craw(url,page):
    headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36"
    }
    req=urllib.request.Request(url,headers=headers)
    html1=urllib.request.urlopen(req).read()
    html1=str(html1)　　#获得包含手机图片的网页框架源码
    part1='<div id="plist".+? <div class="page clearfix">'
    #result1=re.search(part1,html1)
    result1=re.compile(part1).findall(html1)
    result1=result1[0]
    print(len(result1))
    #先弄出来图片的位置
    part2='<img width="220" height="220" data-img="1".+?>'
    #part2='//(.+?[\.jpg|\png])'
    imglist=re.compile(part2).findall(result1)
    #print(imglist[1])
    #print(len(imglist))　　#获得图片的连接
    part3='//.+?\.jpg|//.+?\.png'
    urllist=re.compile(part3).findall(str(imglist))
    print(len(urllist))
    x=1
    print(urllist[1])
    for imageurl in urllist:
        imagename="E:/爬虫练习/pj1/文件/"+str(page)+str(x)+".jpg"　　　　#在图片连接前面加上‘https：’
        imageurl="https:"+imageurl
        print(imageurl)
        try:
            #urllib.request.urlretrieve(imageurl,filename=imagename)
            req=urllib.request.Request(imageurl,headers=headers)
            res=urllib.request.urlopen(req).read()
            with open(imagename,"wb")as f:
                f.write(res)
        except urllib.error.URLError as e:
            if hasattr(e,"code"):
                x+=1
            if hasattr(e,"reason"):
                x+=1
        x+=1
for i in range(1,2):
    url="https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)
    craw(url,i)