小白学 Python 爬虫（26）：为啥上海二手房你都买不起

def get_outer_list(maxNum):
    list = []
    for i in range(1, maxNum + 1):
        url = 'https://sh.lianjia.com/ershoufang/pg' + str(i)
        print('正在爬取的连接为： %s' %url)
        response = requests.get(url, headers=headers)
        print('正在获取第 %d 页房源' % i)
        doc = PyQuery(response.text)
        num = 0
        for item in doc('.sellListContent li').items():
            num += 1
            list.append(item.attr('data-lj_action_housedel_id'))
        print('当前页面房源共 %d 套' %num)
    return list

这里先获取房源的那个 id 编号列表，方便咱们下一步进行链接的拼接，这里的传入参数是最大页数，只要不超过实际页数便可，目前最大页数是 100 页，这里最大也只能传入 100 。

房源列表获取到之后，接着就是要获取房源的详细信息，此次的信息量有点大，解析起来稍有费劲儿：

def get_inner_info(list):
    for i in list:
        try:
            response = requests.get('https://sh.lianjia.com/ershoufang/' + str(i) + '.html', headers=headers)
            doc = PyQuery(response.text)

            # 基本属性解析
            base_li_item = doc('.base .content ul li').remove('.label').items()
            base_li_list = []
            for item in base_li_item:
                base_li_list.append(item.text())

            # 交易属性解析
            transaction_li_item = doc('.transaction .content ul li').items()
            transaction_li_list = []
            for item in transaction_li_item:
                transaction_li_list.append(item.children().not_('.label').text())

            insert_data = {
                "id": i,
                "danjia": doc('.unitPriceValue').remove('i').text(),
                "zongjia": doc('.price .total').text() + '万',
                "quyu": doc('.areaName .info').text(),
                "xiaoqu": doc('.communityName .info').text(),
                "huxing": base_li_list[0],
                "louceng": base_li_list[1],
                "jianmian": base_li_list[2],
                "jiegou": base_li_list[3],
                "taoneimianji": base_li_list[4],
                "jianzhuleixing": base_li_list[5],
                "chaoxiang": base_li_list[6],
                "jianzhujiegou": base_li_list[7],
                "zhuangxiu": base_li_list[8],
                "tihubili": base_li_list[9],
                "dianti": base_li_list[10],
                "chanquan": base_li_list[11],
                "guapaishijian": transaction_li_list[0],
                "jiaoyiquanshu": transaction_li_list[1],
                "shangcijiaoyi": transaction_li_list[2],
                "fangwuyongtu": transaction_li_list[3],
                "fangwunianxian": transaction_li_list[4],
                "chanquansuoshu": transaction_li_list[5],
                "diyaxinxi": transaction_li_list[6]
            }
            cursor.execute(sql_insert, insert_data)
            conn.commit()
            print(i, '：写入完成')
        except:
            print(i, '：写入异常')
            continue

两个最关键的方法已经写完了，接下来看下小编的成果：

这个价格看的小编血压有点高。

果真仍是我大魔都，无论几手房，价格看看就好。

小结

从结果能够看出来，链家虽然是说的有 6W 多套房子，实际上咱们从页面上能够爬取到的拢共也就只有 3000 套，远没有达到咱们想要的全部的数据。可是小编增长筛选条件，房源总数确实也是会变更的，应该是作了强限制，最多只能展现 100 页的数据，防止数据被彻底爬走。

套路仍是很深的，只要不把数据放出来，泥萌就不要想能爬到个人数据。对于通常用户而言，能看到前面的一些数据也足够了，估计也没几我的会翻到最后几页去看数据。

本篇的代码就到这里了，若是有须要获取所有代码的，能够访问代码仓库获取。

示例代码

本系列的全部代码小编都会放在代码管理仓库 Github 和 Gitee 上，方便你们取用。

示例代码-Github

示例代码-Gitee

原文出处：https://www.cnblogs.com/babycomeon/p/12094742.html