【Python3网络爬虫开发实战】5-数据存储-1 文件存储-1 TXT文本存储

用解析器解析出数据以后，接下来就是存储数据了。保存的形式能够多种多样，最简单的形式是直接保存为文本文件，如TXT、JSON、CSV等。另外，还能够保存到数据库中，如关系型数据库MySQL，非关系型数据库MongoDB、Redis等。

5.1-文件存储

文件存储形式多种多样，好比能够保存成TXT纯文本形式，也能够保存为JSON格式、CSV格式等，本节就来了解一下文本文件的存储方式。

将数据保存到TXT文本的操做很是简单，并且TXT文本几乎兼容任何平台，可是这有个缺点，那就是不利于检索。因此若是对检索和数据结构要求不高，追求方便第一的话，能够采用TXT文本存储。本节中，咱们就来看下如何利用Python保存TXT文本文件。

1. 本节目标

本节中，咱们要保存知乎上“发现”页面的“热门话题”部分，将其问题和答案统一保存成文本形式。

2. 基本实例

首先，能够用requests将网页源代码获取下来，而后使用pyquery解析库解析，接下来将提取的标题、回答者、回答保存到文本，代码以下：

import requests
from pyquery import PyQuery as pq

url = 'https://www.zhihu.com/explore'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
html = requests.get(url, headers=headers).text
doc = pq(html)
items = doc('.explore-tab .feed-item').items()
for item in items:
    question = item.find('h2').text()
    author = item.find('.author-link-line').text()
    answer = pq(item.find('.content').html()).text()
    file = open('explore.txt', 'a', encoding='utf-8')
    file.write('\n'.join([question, author, answer]))
    file.write('\n' + '=' * 50 + '\n')
    file.close()
复制代码

这里主要是为了演示文件保存的方式，所以requests异常处理部分在此省去。首先，用requests提取知乎的“发现”页面，而后将热门话题的问题、回答者、答案全文提取出来，而后利用Python提供的open()方法打开一个文本文件，获取一个文件操做对象，这里赋值为file，接着利用file对象的write()方法将提取的内容写入文件，最后调用close()方法将其关闭，这样抓取的内容便可成功写入文本中了。

运行程序，能够发如今本地生成了一个explore.txt文件，其内容如图5-1所示。

图5-1 文件内容

这样热门问答的内容就被保存成文本形式了。

这里open()方法的第一个参数即要保存的目标文件名称，第二个参数为a，表明以追加方式写入到文本。另外，咱们还指定了文件的编码为utf-8。最后，写入完成后，还须要调用close()方法来关闭文件对象。

3. 打开方式

在刚才的实例中，open()方法的第二个参数设置成了a，这样在每次写入文本时不会清空源文件，而是在文件末尾写入新的内容，这是一种文件打开方式。关于文件的打开方式，其实还有其余几种，这里简要介绍一下。

• r：以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
• rb：以二进制只读方式打开一个文件。文件指针将会放在文件的开头。
• r+：以读写方式打开一个文件。文件指针将会放在文件的开头。
• rb+：以二进制读写方式打开一个文件。文件指针将会放在文件的开头。
• w：以写入方式打开一个文件。若是该文件已存在，则将其覆盖。若是该文件不存在，则建立新文件。
• wb：以二进制写入方式打开一个文件。若是该文件已存在，则将其覆盖。若是该文件不存在，则建立新文件。
• w+：以读写方式打开一个文件。若是该文件已存在，则将其覆盖。若是该文件不存在，则建立新文件。
• wb+：以二进制读写格式打开一个文件。若是该文件已存在，则将其覆盖。若是该文件不存在，则建立新文件。
• a：以追加方式打开一个文件。若是该文件已存在，文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容以后。若是该文件不存在，则建立新文件来写入。
• ab：以二进制追加方式打开一个文件。若是该文件已存在，则文件指针将会放在文件结尾。也就是说，新的内容将会被写入到已有内容以后。若是该文件不存在，则建立新文件来写入。
• a+：以读写方式打开一个文件。若是该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。若是该文件不存在，则建立新文件来读写。
• ab+：以二进制追加方式打开一个文件。若是该文件已存在，则文件指针将会放在文件结尾。若是该文件不存在，则建立新文件用于读写。

4. 简化写法

另外，文件写入还有一种简写方法，那就是使用with as语法。在with控制块结束时，文件会自动关闭，因此就不须要再调用close()方法了。这种保存方式能够简写以下：

with open('explore.txt', 'a', encoding='utf-8') as file:
    file.write('\n'.join([question, author, answer]))
    file.write('\n' + '=' * 50 + '\n')
复制代码

若是想保存时将原文清空，那么能够将第二个参数改写为w，代码以下：

with open('explore.txt', 'w', encoding='utf-8') as file:
    file.write('\n'.join([question, author, answer]))
    file.write('\n' + '=' * 50 + '\n')
复制代码

上面即是利用Python将结果保存为TXT文件的方法，这种方法简单易用，操做高效，是一种最基本的保存数据的方法。

本资源首发于崔庆才的我的博客静觅： Python3网络爬虫开发实战教程 | 静觅

如想了解更多爬虫资讯，请关注个人我的微信公众号：进击的Coder

weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)