Python爬取当当网最受欢迎的 500 本书

想看好书？想知道哪些书比较多人推荐，最好的方式就是看数据，接下来用 Python 爬取当当网五星图书榜 TOP500 的书籍，或许能给咱们参考参考！

Python爬取目标

1. 爬取当当网前500本受欢迎的书籍
2. 解析书籍名称，做者，排名，推荐程度和五星评分次数数据。
3. 将数据存写入到本地文件

分析网页

在当当网五星图书榜这个网址中,咱们能够看到这里列出来了五星图书榜：

经过源码能够看到，咱们想要的信息被包裹在<li>标签中：

能够看到咱们要的这些数据都在这：

当咱们点击下一页的时候，url 地址会发生改变（最后的数字会加1）： 第一页的 url 是：http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1 第二页的 url 是：http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-2 ... 咱们等会能够经过这个变量来实现多页加载数据。

Python请求网页

咱们使用 requests 来请求当当网的地址,定义一个get_one_page，将会返回 HTML 源代码。

def get_one_page(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

打印出来就是这样，部分截图以下：

正则解析

源代码那么多数据，可是对咱们来讲只须要籍名称，做者，排名，推荐程度和五星评分次数数据，因此咱们要用正则表达式来过滤一下，使用 re 模块，定义匹配规则：

<li>.*?list_num.*?>(.*?)</div>.*?pic.*?src="(.*?)".*?/></a>.*?name"><a.*?title="(.*?)">.*?tuijian">(.*?)</span>.*?publisher_info.*?title="(.*?)".*?biaosheng.*?<span>(.*?)</span>.*?</li>

定义 parse_one_page ,返回每次匹配到的数据，解析成字典形式：

def parse_one_page(html):
    pattern = re.compile('<li>.*?list_num.*?>(.*?)</div>.*?pic.*?src="(.*?)".*?/></a>.*?name"><a.*?title="(.*?)">.*?tuijian">(.*?)</span>.*?publisher_info.*?title="(.*?)".*?biaosheng.*?<span>(.*?)</span>.*?</li>',re.S)
    items = re.findall(pattern,html)
    for item in items:
        yield {
            'index':item[0],
            'iamge':item[1],
            'title':item[2],
            'tuijian':item[3],
            'author':item[4],
            'times':item[5],
        }

将数据写入文件

咱们已经拿到了每次请求的数据，而且解析匹配好了，那么将每次获得的数据写入book.txt文件中去：

def write_content_to_file(content):
    with open('book.txt','a',encoding='UTF-8') as f:
        f.write(json.dumps(content,ensure_ascii=False) + '\n')
        f.close()

多页请求

咱们要获取 TOP500 ，当当网每页给出 20 条数据，咱们须要 25 页的数据，一开始咱们在分析网页的时候知道 URL 会选择页数改变最后的参数，因此咱们能够用循环来请求全部的数据：

def main(page):
    url = "http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-" + str(page)
    html = get_one_page(url)
    parse_one_page(html)
    for item in parse_one_page(html):
        print(item)
        write_content_to_file(item)

if __name__ == "__main__":
    for i in range(1,26):
        main(i)

运行爬取

能够看到咱们将五百条数据抓取下来了，而且在项目中多了一个book.txt文件，打开看看有没将数据写入：

ok，以上咱们就把当当网最受欢迎的 500 本书爬取下来了！

相关文章

1. python3入门基础有趣的教程
2. Python爬虫基础：爬取妹子图片并保存到本地
3. python 爬虫应该学习什么知识点？