python定向爬虫实例（一）

时间 2019-11-17

原文原文链接

功能描述：爬取当当网的某一商品的信息，并在屏幕输出其价格、商品名称html

程序设计：app

获取上商品页面的HTML文本
解析HTML文本你将商品信息存在列表中
将商品信息输出在屏幕上

import requests
import bs4
from bs4 import BeautifulSoup

def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""

def parseHTML(demo,sLt):
    soup=BeautifulSoup(demo,"html.parser")
    for li in soup.find('ul',attrs=['bigimg','cloth_shoplist']).children:
        try:
            if isinstance(li,bs4.element.Tag):
                sLt.append([li.find('a').attrs.get('title'),li.find('span','price_n').string])
        except:
            continue
def printGoodsList(sLt):
    tpt='{0:3}\t\t{1:^3}\t\t{2:{3}^10}'
    print(tpt.format("序号","价格","商品",chr(12288)))
    for i,u in enumerate(sLt):
        print(tpt.format(str(i+1),u[1],u[0],chr(12288)))

def main():
    goods='书包'
    url='http://search.dangdang.com/?key='+goods
    depth=2 #爬取深度
    sLt=[]  #存放书包的价格、名称
    for i in range(depth):
        try:
            url=url+"&page_index="+str(i+1)
            demo=getHTMLText(url)
            parseHTML(demo,sLt)
        except:
            continue
    printGoodsList(sLt)

main()

执行结果：url

序号         价格         　　　　商品　　　　
1          ¥58.90         书包小学生男女生1-2-3-6年级儿童书包男孩防水轻便双肩背包定作5
2          ¥136.00         迪士尼书包 动漫卡通儿童双肩背包小学生1-4年级防水减负书包
3          ¥229.00         【爆款直降】卡拉羊儿童书包-3-4-6年级小学生轻量减负护脊防泼水双肩包韩版CX2742
4          ¥149.00         【爆款直降】卡拉羊小学生书包女儿童书包男减负护脊新款日韩潮初中生双肩背包CX2744
5          ¥229.00         【爆款直降】卡拉羊书包小学生-3年级男女儿童小孩双肩包背包低年级防水抗污耐磨面料CX2739
6          ¥88.00         书包男中学生初中生高中生小学男生背包青少年校园双肩包时尚潮流
7          ¥398.00         hellokitty凯蒂猫 KT1002粉红小学生护脊书包EVA减负儿童书包7-12岁
8          ¥368.00         HelloKitty凯蒂猫 KT1098粉红 儿童书包小学生书包女童韩版甜美淑女减负护脊书包
9          ¥78.70         书包小学生1-2-3-4年级女孩护脊女童双肩包 儿童背包6-12周岁女生
10         ¥88.90         书包小学生男孩1-3-4-6年级轻便护脊儿童书包男双肩减负男童背包
11         ¥128.00         书包女中学生初中生2018新款韩版校园百搭帆布学院风甜甜圈双肩包
12         ¥49.90         书包小学生男女生1-2-3-6年级儿童书包男孩防水轻便双肩背包定作5
13         ¥208.00         HelloKitty凯蒂猫 KT1136玫红 儿童书包 小学生书包 女童韩版3-6年级减负护脊书包
14         ¥59.90         大童男孩子小学生六年级书包青年初一二三韩版时尚潮流男双肩背包
15         ¥78.00         新款双肩包 男韩版大高初中学生书包 时尚潮流休闲背包 旅行包 充电版可外接 USB
16         ¥109.00         kinbor牛津布款双肩书包/大容量经典款背包/旅行手提女包 晚安Classic DTB6343
17         ¥299.00         网易严选 儿童护脊减负书包（1-3年级）
18         ¥50.90         书包小学生1-2-3-6年级男女生 护脊耐磨轻防水儿童双肩包6-12周岁包邮
19         ¥99.00         中大学生初中休闲校园高书包学院风背包时尚潮流新款韩版双肩包
20         ¥298.00         HelloKitty凯蒂猫 KT1093韩版可爱女小学生护脊减负书包 粉红
21         ¥50.90         书包女韩版原宿ulzzang 校园港风双肩包街拍旅行背包潮男高中学生
22         ¥69.00         20170911224644179双肩包男新款韩版休闲时尚大容量高初中学生书包潮流学院风背包男
23         ¥96.90         韩版初中学生书包女时尚潮流双肩包小学生清新大容量校园帆布背包
24         ¥169.00         kinbor牛津布款双肩书包/大容量背包/旅行手提女包/晚安plus DTB6344
25         ¥168.00         Hello Kitty凯蒂猫 KT1059粉红 小学生初中生高年级书包护脊书包 当当自营
26         ¥116.00         书包小学生男孩1-3-4-6年级轻便儿童书包男双肩男童背包
27         ¥189.00         【爆款直降】卡拉羊休闲双肩包大容量中学生书包运动休闲包旅行背包简约电脑包CX5988
28         ¥138.00         小学生书包1-3年级花花姑娘女孩减负双肩包儿童6-12周岁防水背包
29         ¥188.00         HelloKitty凯蒂猫 KT1137浅蓝 儿童书包 女童韩版甜美 1-3年级减负护脊书包
30         ¥208.00         HelloKitty凯蒂猫 KT1136浅紫 儿童书包 小学生书包 女童韩版3-6年级减负护脊书包
31         ¥75.00         天然鱼韩版儿童小学生书包2-5年级男女孩8-12周岁减负护脊防泼水
32         ¥398.00         hellokitty凯蒂猫 KT1002玫红小学生护脊书包EVA减负儿童书包7-12岁
33         ¥98.70         书包女韩版原宿ulzzang 校园帆布双肩包初中学生可爱百搭开学背包
34         ¥198.00         Bad Badta.Maru酷企鹅 XO2031黑色 小学生书包 男孩3-6年级健康护脊减负双肩包
35         ¥188.00         国誉(KOKUYO)SBN01V书包 中小学生减负书包/双肩背包 紫(附带防雨套)当当自营
36         ¥69.80         chic书包女韩版原宿ulzzang大高中学生ins超火双肩包女大容量背包
37         ¥88.80         2018新款双肩包女韩版潮高中初中学生书包卡通校园夜光背包旅行包
38         ¥188.00         HelloKitty凯蒂猫 KT1137浅紫 儿童书包 女童韩版甜美 1-3年级减负护脊书包
39         ¥368.00         HelloKitty凯蒂猫 KT1098浅紫 儿童书包小学生书包女童韩版甜美淑女减负护脊书包
40         ¥309.00         网易严选 银河护脊书包（4-6年级）
41         ¥188.00         Bad Badta.Maru酷企鹅 XO2047蓝色 小学生书包 男孩1-2年级健康护脊减负双肩包
42         ¥175.00         KOKUYO国誉护脊减负学生双肩包带防雨套雨衣背包容量可扩增书包小号粉色WSG-SBN03P当当自营
43         ¥116.90         迪士尼书包小学生男女1-3-4-6年级米奇减负背包儿童书包8-10-12岁
44         ¥78.70         书包女学生韩版校园小清新帆布初中生双肩包卡通小学生开学大背包
45         ¥50.90         书包小学生1-2-3-6年级男女生 护脊耐磨轻防水儿童双肩包6-12周岁
46         ¥68.00         天然鱼小学生书包男女儿童防泼水减负立体书包1-3年级学生背包
47         ¥99.00         联众/UME BU8602C/红色 小学生书包男女1-3-4年级轻便省力减负双肩背包儿童8-10-12岁新年开学礼物
48         ¥189.00         【爆款直降】卡拉羊书包小学生女减负护脊日韩双肩背包男1-3-4-6年级儿童书包防水CX2611
49         ¥78.80         小学生书包女韩版原宿ulzzang 初高中学生背包校园时尚休闲双肩包
50         ¥138.00         当当自营孔子书包 卡通系列 德不孤必有邻 涤纶 双肩背包 粉色配玫红色 K2010
51         ¥90.90         儿童书包小学生男童1-3年级6-12周岁4-6年级男孩双肩背包轻便减负
52         ¥98.00         【暑假大促 领30元无门槛券 只限8月7日到手价68】猫太子儿童书包减负护脊小学生女童男童男孩女孩1-3-4-5-6年
53         ¥178.00         HelloKitty凯蒂猫 KT1146粉红 儿童书包3-6岁女童韩版甜美幼儿园书包
54         ¥199.00         卡拉羊momogirl双肩包女电脑包大容量旅行包学院风初高中学生书包M5274
55         ¥26.00         物有物语 双肩包女 字母双肩包女韩版潮休闲女包学院风初高中学生书包旅游包
56         ¥259.00         【爆款直降】卡拉羊拉杆书包三轮小学生书包女孩男1-3-4-6年级6-12周岁儿童双肩包CX8516
57         ¥88.00         简约双肩包男女韩版中学生书包大容量旅行背包学院风电脑包休闲包
58         ¥96.90         书包小学生 1-2-3-6年级男女生减负双肩儿童书包男孩防水护脊背包
59         ¥58.85         小学生书包女1-3-5-6年级防水儿童书包女童卡通可爱双肩包女孩
60         ¥78.80         书包小学生男孩1-3-4-6年级轻便儿童书包6-12周岁双肩包男童背包
61         ¥249.00         【爆款直降】卡拉羊儿童拉杆书包拉杆双肩包小学生书包男女童-3-4-6年级减负CX8460
62         ¥169.00         【爆款直降】卡拉羊韩版校园初中生书包208新款背包小学生书包男女双肩包CX5971
63         ¥188.00         HelloKitty凯蒂猫 KT1137浅绿 儿童书包 女童韩版甜美 1-3年级减负护脊书包
64         ¥219.00         【爆款直降】卡拉羊书包小学生女儿童双肩包男-3-4-6年级背包防水抗污耐磨面料CX2714
65         ¥469.00         【1件3折】卡拉羊书包男女小学生日韩版 校园1-3-4-6年级减负护脊儿童双肩书包CX2669
66         ¥128.00         Hape防走失背包可调节幼儿园学生出游书包18个月以上婴儿宝宝卡通可爱双肩包玩具 但丁猫 佩佩狗
67         ¥49.90         书包女韩版原宿ulzzang 高中学生电脑包大容量双肩包休闲旅行背包
68         ¥138.00         正版迪士尼书包 小学生男女孩1-3-4-6年级米奇减负背包 儿童书包8-10-12岁双肩包
69         ¥128.00         Hello Kitty凯蒂猫 KT1048粉蓝 韩版甜美淑女幼儿园书包儿童书包 当当自营
70         ¥69.80         小学生书包女6-12周岁儿童书包女孩1-3-4-5-6年级护脊减负双肩包
71         ¥229.00         【爆款直降】卡拉羊小学生书包男初中年级减负背包校园儿童双肩包CX5969
72         ¥69.80         初中女生书包韩版学生潮女大容量帆布小学生书包小清新可爱双肩包
73         ¥116.90         韩版初中高中学生书包女简约百搭帆布背包校园小清新大容量双肩包
74         ¥249.00         【爆款直降】卡拉羊双肩包男女中学生大学生书包高中生大容量休闲韩版潮旅行包CX5566
75         ¥188.00         Hello Kitty凯蒂猫 KT1073粉红 幼儿园书包女3-5岁宝宝背包大班小班儿童书包 当当自营
76         ¥139.00         【爆款直降】卡拉羊双肩包208新款背包高中学生小学生书包女韩版校园初中生CX5357
77         ¥209.00         【爆款直降】卡拉羊小学生书包女-3-4-6年级儿童书包男生减负护脊双肩背包日韩CX2593
78         ¥219.00         【爆款直降】卡拉羊休闲双肩包中学生书包男女超轻大容量初高中生学生休闲背包CX5986
79         ¥68.00         书包小学生男1-3-4-6年级儿童减负护脊女6-12周岁初中学生双肩包
80         ¥328.00         HelloKitty凯蒂猫 KT1097粉红 儿童书包 小学生书包 女童韩版甜美淑女双肩减负书包
81         ¥179.00         【爆款直降】卡拉羊双肩包208新款背包初中学生小学生书包男女韩版校园初中生CX5976CX5975
82         ¥188.00         HelloKitty凯蒂猫 KT1137玫红 儿童书包 女童韩版甜美 1-3年级减负护脊书包
83         ¥179.00         【爆款直降】卡拉羊韩版校园初中生书包208新款背包小学生书包男女双肩包CX5970
84         ¥259.00         【爆款直降】卡拉羊书包-3-4-6年级小学生男女儿童小孩双肩包背包低年级防水抗污耐磨面料CX2715
85         ¥68.00         天然鱼小学生书包男孩女孩时尚卡通书包1-3 年级6-10岁女孩休闲时尚书包
86         ¥80.00         高中学生书包女生2018新款时尚百搭双肩包韩版原宿ulzzang简约街拍背包
87         ¥169.00         【爆款直降】卡拉羊电脑双肩包男士休闲旅行背包大学高中学生书包CS5625
88         ¥154.00         虎妈猫爸罗茜茜同款书包 小学生1-3年级4-6 女生护脊日式日本书包
89         ¥68.00         天然鱼韩版女童书包小学生中学生男女孩3-4-5年级8-12周岁儿童双肩包减负公主
90         ¥169.00         【爆款直降】卡拉羊书包小学生男-3-5年级减负护脊背包英伦风校园儿童双肩包CX2751
91         ¥159.00         韩版原宿ulzzang初中生书包女学院风百搭大容量高中学生双肩包潮
92         ¥139.00         【爆款直降】卡拉羊儿童书包幼儿园女幼儿小书包宝宝背包-2-3岁减负双肩包CX6098
93         ¥249.00         【爆款直降】卡拉羊书包小学生男女书包3456年级背包减负护脊书包双肩包CX2746
94         ¥41.90         初中学生书包女 韩版街头潮流中大学生森系双肩包ulzzang原宿背包
95         ¥77.90         2019新款双肩包男女韩版校园中小学生书包儿童旅游背包女孩包包
96         ¥78.80         原宿小清新韩版校园风中学生书包女帆布休闲双肩包背包小学生书包
97         ¥131.10         迪士尼男童书包小学生4-6年级1-3轻便休闲双肩包美国队长儿童书包
98         ¥79.00         古着感少女初中小学生书包ins双肩包 2019新款韩版简约高中生背包
99         ¥359.00         【1件3折】卡拉羊小学生书包女韩版校园潮1-3-4-6年级儿童双肩包男学生背包CX2659
100        ¥13.90         2018新款牛津帆布袋韩国INS超火单肩手提文艺清新简约学生书包女
101        ¥78.80         火星龙小学生书包1-3-5年级男女防水耐磨透气儿童双肩背包护脊
102        ¥79.00         【爆款直降】卡拉羊儿童书包幼儿园女3-4-6岁幼儿小书包宝宝背包减负双肩包C6005
103        ¥179.00         【爆款直降】momogirl 208新款小双肩包女士背包简约时尚潮流尼龙港风书包女M5339
104        ¥469.00         【1件3折】卡拉羊小学生书包女1-3-4-6年级初中生男高年级减负护脊双肩背包CX2663
105        ¥75.00         天然鱼新款书包女韩版校园3-6小学生轻便背包多层大容量双肩包
106        ¥188.00         Bad Badta.Maru酷企鹅 XO2047黑色 小学生书包 男孩1-2年级健康护脊减负双肩包
107        ¥198.00         Bad Badta.Maru酷企鹅 XO2031蓝色 小学生书包 男孩3-6年级健康护脊减负双肩包
108        ¥79.00         男孩书包小学生1-3-4-6年级儿童书包女孩6-12周岁双肩包
109        ¥199.00         【爆款直降】卡拉羊双肩包女208新款 4寸电脑包高年级学生书包休闲男士背包CX5855
110        ¥129.00         书包小学生男1-3-六年级儿童书包轻便6-12周岁迷彩双肩包男孩
111        ¥97.00         书包女学生韩版校园初中生户外旅游高中学生背包小清新防水双肩包
112        ¥96.00         学院风大学生书包男高中学生女帆布韩版双肩包女背包大容量旅行包
113        ¥89.00         沃曼威斯双肩包男学生书包潮流韩版个性旅游背包休闲大容量旅行包
114        ¥178.00         HelloKitty凯蒂猫 KT1146浅紫 儿童书包3-6岁女童韩版甜美幼儿园书包
115        ¥139.00         迪士尼儿童书包女小学生1-4年级苏菲亚公主女孩冰雪奇缘一年级
116        ¥178.00         HelloKitty凯蒂猫 KT1146玫红 儿童书包3-6岁女童韩版甜美幼儿园书包
117        ¥119.00         书包女韩版原宿ulzzang高中学生初中大容量防水双肩包女2018新款
118        ¥43.50         儿童轻便旅行小背包户外秋游男女大童补习书包小学生双肩包补课包
119        ¥64.80         小学生女孩儿童书包1-3-6年级可爱公主kt猫双肩背包 6-12周岁透气
120        ¥139.00         韩版女双肩包初中学生书包小学生高中校园百搭简约大容量帆布背包