网上那么多的穷游攻略该看那个？固然是全都要了，Python帮你爬取

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具备任何商业用途,版权归原做者全部,若有问题请及时联系咱们以做处理。

做者：IT共享者

喜欢的朋友欢迎关注小编，除了分享技术文章以外还有不少福利

加企鹅群695185429便可免费获取，资料全在群文件里。资料能够领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等

项目背景

穷游网提供原创实用的出境游旅行指南、攻略，旅行社区和问答交流平台，以及智能的旅行规划解决方案，同时提供签证、保险、机票、酒店预订、租车等在线增值服务。穷游“鼓励和帮助中国旅行者以本身的视角和方式体验世界”。

今天教你们获取穷游网的城市信息，使用Python将数据写入csv文档。

 

项目目标

实现将获取对应的城市、图片连接、热点、批量下载 保存csv文档。

涉及的库和网站

一、网址以下：

https://place.qyer.com/south-korea/citylist-0-0-{}

 

二、涉及的库：requests、lxml、fake_useragent、time、csv

项目分析

首先须要解决如何对下一页的网址进行请求的问题。能够点击下一页的按钮，观察到网站的变化分别以下所示：

- https://place.qyer.com/south-korea/citylist-0-0-1

- https://place.qyer.com/south-korea/citylist-0-0-2

- https://place.qyer.com/south-korea/citylist-0-0-3

 

观察到只有citylist-0-0-{}/变化，变化的部分用{}代替，再用for循环遍历这网址，实现多个网址请求。

项目实施

一、咱们定义一个class类继承object，而后定义init方法继承self，再定义一个主函数main继承self。准备url地址。

import requests，os
from lxml import etree
import random
import time
from fake_useragent import UserAgent


class Travel(object):
    def __init__(self):
        self.url = "https://place.qyer.com/south-korea/citylist-0-0-{}/"
    def main(self):
        pass
if __name__ == '__main__':
    spider= Travel()
    spider.main()

 

二、随机产生UserAgent。

        self.film_list = []
        ua = UserAgent(verify_ssl=False)
        for i in range(1, 50):
            self.film_list.append(ua.chrome)
            self.Hostreferer = {
            'User-Agent': random.choice(self.film_list)
        }

 

三、多页请求。

        startPage = int(input("起始页:"))
        endPage = int(input("终止页:"))
        for page in range(startPage, endPage + 1):
            url = self.url.format(page)

 

四、定义get_page方法，进行数据请求。

   '''数据请求'''
    def get_page(self, url):
        html = requests.get(url=url, headers=self.Hostreferer).content.decode("utf-8")
        self.page_page(html)
        # print(html)//网页
        # print(self.headers)//构造头

 

五、定义page_page，xpath解析数据, for循环遍历数组。

在谷歌浏览器上，右键选择开发者工具或者按F12。右键检查，xpath找到对应信息的字段。以下图所示。

 

    parse_html = etree.HTML(html)
    image_src_list = parse_html.xpath('//ul[@class="plcCitylist"]/li') 
    for i in image_src_list:
            b = i.xpath('.//h3//a/text()')[0].strip()
            c = i.xpath('.//p[@class="beento"]//text()')[0].strip()
            d = i.xpath('.//p[@class="pics"]//img//@src')[0].strip()

 

六、定义csv文件保存数据，写入文档。

        # 建立csv文件进行写入
        csv_file = open('scrape.csv', 'a', encoding='gbk')
        csv_writer = csv.writer(csv_file)
        csv_writer.writerow([b, c, d])
        csv_file.close(

 

七、在main方法调用。

    def main(self):
        for i1 in range(1, 25):
            url = self.url.format(i1)
            # print(url)
            html = self.get_page(url)

            time.sleep(2)
            print("第%d页" % i1)

 

八、time模块，设置时间延迟。

         time.sleep(2)

 

效果展现

一、点击运行，输入起始页，终止页。

 

二、将下载成功信息显示在控制台。

 

三、保存csv文档。