【Python3网络爬虫开发实战】5-数据存储-1 文件存储-3 CSV文件存储

CSV，全称为Comma-Separated Values，中文能够叫做逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。该文件是一个字符序列，能够由任意数目的记录组成，记录间以某种换行符分隔。每条记录由字段组成，字段间的分隔符是其余字符或字符串，最多见的是逗号或制表符。不过全部记录都有彻底相同的字段序列，至关于一个结构化表的纯文本形式。它比Excel文件更加简介，XLS文本是电子表格，它包含了文本、数值、公式和格式等内容，而CSV中不包含这些内容，就是特定字符分隔的纯文本，结构简单清晰。因此，有时候用CSV来保存数据是比较方便的。本节中，咱们来说解Python读取和写入CSV文件的过程。

1. 写入

这里先看一个最简单的例子：

import csv

with open('data.csv', 'w') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id', 'name', 'age'])
    writer.writerow(['10001', 'Mike', 20])
    writer.writerow(['10002', 'Bob', 22])
    writer.writerow(['10003', 'Jordan', 21])
复制代码

首先，打开data.csv文件，而后指定打开的模式为w（即写入），得到文件句柄，随后调用csv库的writer()方法初始化写入对象，传入该句柄，而后调用writerow()方法传入每行的数据便可完成写入。

运行结束后，会生成一个名为data.csv的文件，此时数据就成功写入了。直接以文本形式打开的话，其内容以下：

id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
复制代码

能够看到，写入的文本默认以逗号分隔，调用一次writerow()方法便可写入一行数据。用Excel打开的结果如图5-6所示。

图5-6 打开结果

若是想修改列与列之间的分隔符，能够传入delimiter参数，其代码以下：

import csv

with open('data.csv', 'w') as csvfile:
    writer = csv.writer(csvfile, delimiter=' ')
    writer.writerow(['id', 'name', 'age'])
    writer.writerow(['10001', 'Mike', 20])
    writer.writerow(['10002', 'Bob', 22])
    writer.writerow(['10003', 'Jordan', 21])
复制代码

这里在初始化写入对象时传入delimiter为空格，此时输出结果的每一列就是以空格分隔了，内容以下：

id name age
10001 Mike 20
10002 Bob 22
10003 Jordan 21
复制代码

另外，咱们也能够调用writerows()方法同时写入多行，此时参数就须要为二维列表，例如：

import csv

with open('data.csv', 'w') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id', 'name', 'age'])
    writer.writerows([['10001', 'Mike', 20], ['10002', 'Bob', 22], ['10003', 'Jordan', 21]])
复制代码

输出效果是相同的，内容以下：

id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
复制代码

可是通常状况下，爬虫爬取的都是结构化数据，咱们通常会用字典来表示。在csv库中也提供了字典的写入方式，示例以下：

import csv

with open('data.csv', 'w') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
    writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
    writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})
复制代码

这里先定义3个字段，用fieldnames表示，而后将其传给DictWriter来初始化一个字典写入对象，接着能够调用writeheader()方法先写入头信息，而后再调用writerow()方法传入相应字典便可。最终写入的结果是彻底相同的，内容以下：

id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
复制代码

这样就能够完成字典到CSV文件的写入了。

另外，若是想追加写入的话，能够修改文件的打开模式，即将open()函数的第二个参数改为a，代码以下：

import csv

with open('data.csv', 'a') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writerow({'id': '10004', 'name': 'Durant', 'age': 22})
复制代码

这样在上面的基础上再执行这段代码，文件内容便会变成：

id,name,age
10001,Mike,20
10002,Bob,22
10003,Jordan,21
10004,Durant,22
复制代码

可见，数据被追加写入到文件中。

若是要写入中文内容的话，可能会遇到字符编码的问题，此时须要给open()参数指定编码格式。好比，这里再写入一行包含中文的数据，代码须要改写以下：

import csv

with open('data.csv', 'a', encoding='utf-8') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writerow({'id': '10005', 'name': '王伟', 'age': 22})
复制代码

这里须要给open()函数指定编码，不然可能发生编码错误。

另外，若是接触过pandas等库的话，能够调用DataFrame对象的to_csv()方法来将数据写入CSV文件中。

2. 读取

咱们一样可使用csv库来读取CSV文件。例如，将刚才写入的文件内容读取出来，相关代码以下：

import csv

with open('data.csv', 'r', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    for row in reader:
        print(row)
复制代码

运行结果以下：

['id', 'name', 'age']
['10001', 'Mike', '20']
['10002', 'Bob', '22']
['10003', 'Jordan', '21']
['10004', 'Durant', '22']
['10005', '王伟', '22']
复制代码

这里咱们构造的是Reader对象，经过遍历输出了每行的内容，每一行都是一个列表形式。注意，若是CSV文件中包含中文的话，还须要指定文件编码。

另外，若是接触过pandas的话，能够利用read_csv()方法将数据从CSV中读取出来，例如：

import pandas  as pd

df = pd.read_csv('data.csv')
print(df)
复制代码

运行结果以下：

id    name  age
0  10001    Mike   20
1  10002     Bob   22
2  10003  Jordan   21
3  10004  Durant   22
4  10005      王伟   22
复制代码

在作数据分析的时候，此种方法用得比较多，也是一种比较方便地读取CSV文件的方法。

本节中，咱们了解了CSV文件的写入和读取方式。这也是一种经常使用的数据存储方式，须要熟练掌握。

本资源首发于崔庆才的我的博客静觅： Python3网络爬虫开发实战教程 | 静觅

如想了解更多爬虫资讯，请关注个人我的微信公众号：进击的Coder

weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)