python爬取并分析淘宝商品信息

前言

相信提及“淘宝” ，你们都不会感到陌生吧。做为中国最大的电商平台，淘宝仿佛已经与咱们的生活紧密相连。正好以前在CSDN上看到@不正经的kimol君 写了一篇利用《python爬取并分析淘宝商品信息》的文章，因而仔细拜读了一下，感受贴近生活，且十分实用，故写下这篇文章，记录一下。html

一、模拟登录

兴致勃勃的我，冲进淘宝就准备一顿乱搜：

在搜索栏里填好关键词：“显卡”，小手轻快敲击着回车键（小样~看个人）python

心情愉悦的我等待着返回满满的商品信息，结果苦苦的等待换了的倒是302，因而我意外地来到了登录界面。

状况基本就是这么个状况了…web

而后我查了一下，随着淘宝反爬手段的不断增强，不少小伙伴应该已经发现，淘宝搜索功能是须要用户登录的！canvas

关于淘宝模拟登录，已经有大佬已经利用requests成功模拟登录（你们能够去CSDN上看@猪哥66的《Python模拟登陆淘宝》）浏览器

这个方法得先分析淘宝登录的各类请求，并模拟生成相应的参数，相对来讲有必定的难度。

因而我决定换一种思路，经过 selenium+二维码 的方式：cookie

# 打开图片
def Openimg(img_location):
    img=Image.open(img_location)
    img.show()

# 登录获取cookies
def Login():  
    driver = webdriver.PhantomJS() 
    driver.get('https://login.taobao.com/member/login.jhtml')
    try:
        #driver.find_element_by_id("J_Static2Quick").click() #切换成二维码模式
        driver.find_element_by_xpath('//*[@id="login"]/div[1]/i').click()
    except:
        pass
    time.sleep(3)
    #code_element = driver.find_element_by_xpath('//*[@id="J_QRCodeImg"]/img')
    #code_url = code_element.get_attribute('src')
    # 执行JS得到canvas的二维码
    JS = 'return document.getElementsByTagName("canvas")[0].toDataURL("image/png");'
    im_info = driver.execute_script(JS) # 执行JS获取图片信息
    im_base64 = im_info.split(',')[1]  #拿到base64编码的图片信息
    im_bytes = base64.b64decode(im_base64)  #转为bytes类型
    time.sleep(2)
    with open('./login.png','wb') as f:
        f.write(im_bytes)
        f.close()
    t = threading.Thread(target=Openimg,args=('./login.png',))
    t.start()
    print("Logining...Please sweep the code!\n")
    while(True):
        c = driver.get_cookies()
        if len(c) > 20:   #登录成功获取到cookies
            cookies = { 
 
   }
            for i in range(len(c)):
                cookies[c[i]['name']] = c[i]['value']
            driver.close()
            print("Login in successfully!\n")
            return cookies
        time.sleep(1)

经过webdriver打开淘宝登录界面，把二维码下载到本地并打开等待用户扫码（相应的元素你们经过浏览器的F12元素分析很容易就能找出）。待扫码成功后，将webdriver里的cookies转为DICT形式，并返回。（这里是为了后续requests爬取信息的时候使用）app

二、爬取商品信息

当我拿到cookies以后，便能对商品信息进行爬取了。svg

2.1 定义相关参数

定义相应的请求地址，请求头等等，用于模拟浏览器进行访问：ui

# 定义参数
headers = { 
 
   'Host':'s.taobao.com',
           'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:63.0) Gecko/20100101 Firefox/63.0',
           'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
           'Accept-Language':'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
           'Accept-Encoding':'gzip, deflate, br',
           'Connection':'keep-alive'}
list_url = 'http://s.taobao.com/search?q=%(key)s&ie=utf8&s=%(page)d'

2.2 分析并定义正则

当请求获得HTML页面后，想要获得咱们想要的数据就必须得对其进行提取，这里我选择了正则的方式。经过查看页面源码：

偷懒的我上面只标志了两个数据，不过其余也是相似的，因而获得如下正则：编码

# 正则模式
p_title = '"raw_title":"(.*?)"'       #标题
p_location = '"item_loc":"(.*?)"'    #销售地
p_sale = '"view_sales":"(.*?)人付款"' #销售量
p_comment = '"comment_count":"(.*?)"'#评论数
p_price = '"view_price":"(.*?)"'     #销售价格
p_nid = '"nid":"(.*?)"'              #商品惟一ID
p_img = '"pic_url":"(.*?)"'          #图片URL

聪明的小伙伴应该确定已经发现了，其实商品信息是被保存在了g_page_config变量里面，因此咱们也能够先提取这个变量（一个字典），而后再读取数据，也可！

2.3 数据爬取

完事具有，只欠东风。因而，东风来了：

# 数据爬取
key = input('请输入关键字:') # 商品的关键词
N = 20 # 爬取的页数 
data = []
cookies = Login()
for i in range(N):
    try:
        page = i*44
        url = list_url%{ 
 
   'key':key,'page':page}
        res = requests.get(url,headers=headers,cookies=cookies)
        html = res.text
        title = re.findall(p_title,html)
        location = re.findall(p_location,html)
        sale = re.findall(p_sale,html)
        comment = re.findall(p_comment,html)
        price = re.findall(p_price,html)
        nid = re.findall(p_nid,html)
        img = re.findall(p_img,html)
        for j in range(len(title)):
            data.append([title[j],location[j],sale[j],comment[j],price[j],nid[j],img[j]])
        print('-------Page%s complete!--------\n\n'%(i+1))
        time.sleep(3)
    except:
        pass
data = pd.DataFrame(data,columns=['title','location','sale','comment','price','nid','img'])
data.to_csv('%s.csv'%key,encoding='utf-8',index=False)

上面代码爬取20页商品信息，并将其保存在本地的csv文件中，效果是这样的：

三、简单数据分析

如今数据有了，放着岂不浪费，我但是社会主义好青年，怎么能作这种事？那么，就让咱们来简单看看这些数据：（固然，数据量小，仅供娱乐参考）

3.1 导入库

import jieba
import operator
import pandas as pd
from wordcloud import WordCloud
from matplotlib import pyplot as plt

以上相应库的安装，基本都能经过pip解决，这里就不介绍了

3.2 中文显示

# matplotlib中文显示
plt.rcParams['font.family'] = ['sans-serif']
plt.rcParams['font.sans-serif'] = ['SimHei']

不设置可能出现中文乱码等闹心的状况哦~

3.3 读取数据

这一步咱们读取以前咱们收集的显卡.csv文件

# 读取数据
key = '显卡'
data = pd.read_csv('%s.csv'%key,encoding='utf-8',engine='python')

3.4 分析价格分布

# 价格分布
plt.figure(figsize=(16,9))
plt.hist(data['price'],bins=20,alpha=0.6)
plt.title('价格频率分布直方图')
plt.xlabel('价格')
plt.ylabel('频数')
plt.savefig('价格分布.png')

价格频率分布直方图：

3.5 分析销售地分布

# 销售地分布
group_data = list(data.groupby('location'))
loc_num = { 
 
   }
for i in range(len(group_data)):
    loc_num[group_data[i][0]] = len(group_data[i][1])
plt.figure(figsize=(19,9))
plt.title('销售地')
plt.scatter(list(loc_num.keys())[:20],list(loc_num.values())[:20],color='r')
plt.plot(list(loc_num.keys())[:20],list(loc_num.values())[:20])
plt.savefig('销售地.png')
sorted_loc_num = sorted(loc_num.items(), key=operator.itemgetter(1),reverse=True)#排序
loc_num_10 = sorted_loc_num[:10]  #取前10
loc_10 = []
num_10 = []
for i in range(10):
    loc_10.append(loc_num_10[i][0])
    num_10.append(loc_num_10[i][1])
plt.figure(figsize=(16,9))
plt.title('销售地TOP10')
plt.bar(loc_10,num_10,facecolor = 'lightskyblue',edgecolor = 'white')
plt.savefig('销售地TOP10.png')

销售地分布：

销售地TOP10：

3.6 词云分析

有了以前的 显卡.csv 数据，咱们也能够对商品标题 title作一个词频展现：

# 制做词云
content = ''
for i in range(len(data)):
    content += data['title'][i]
wl = jieba.cut(content,cut_all=True)
wl_space_split = ' '.join(wl)
wc = WordCloud('simhei.ttf',
               background_color='white', # 背景颜色
               width=1000,
               height=600,).generate(wl_space_split)
wc.to_file('%s.png'%key)

下面展现的是淘宝商品”显卡“的词云：

最后感谢各位大大的耐心阅读~

小结

本篇内容主要为你们介绍了下经过python去爬取并分析淘宝商品数据的步骤，并穿插一些细节的讲解，但因为篇幅问题，更多细化的知识点并无详细展开介绍。须要完整项目源码的同窗，能够关注下方公众号，回复“python淘宝爬虫”便可获取。

本文同步分享在博客“Alice菌”（CSDN）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。