【Python3网络爬虫开发实战】5-数据存储-1 文件存储-2 JSON文件存储

JSON，全称为JavaScript Object Notation, 也就是JavaScript对象标记，它经过对象和数组的组合来表示数据，构造简洁可是结构化程度很是高，是一种轻量级的数据交换格式。本节中，咱们就来了解如何利用Python保存数据到JSON文件。

1. 对象和数组

在JavaScript语言中，一切都是对象。所以，任何支持的类型均可以经过JSON来表示，例如字符串、数字、对象、数组等，可是对象和数组是比较特殊且经常使用的两种类型，下面简要介绍一下它们。

• 对象：它在JavaScript中是使用花括号{}包裹起来的内容，数据结构为{key1：value1, key2：value2, ...}的键值对结构。在面向对象的语言中，key为对象的属性，value为对应的值。键名可使用整数和字符串来表示。值的类型能够是任意类型。
• 数组：数组在JavaScript中是方括号[]包裹起来的内容，数据结构为["java", "javascript", "vb", ...]的索引结构。在JavaScript中，数组是一种比较特殊的数据类型，它也能够像对象那样使用键值对，但仍是索引用得多。一样，值的类型能够是任意类型。

因此，一个JSON对象能够写为以下形式：

[{
    "name": "Bob",
    "gender": "male",
    "birthday": "1992-10-18"
}, {
     "name": "Selina",
    "gender": "female",
    "birthday": "1995-10-18"
}]
复制代码

由中括号包围的就至关于列表类型，列表中的每一个元素能够是任意类型，这个示例中它是字典类型，由大括号包围。

JSON能够由以上两种形式自由组合而成，能够无限次嵌套，结构清晰，是数据交换的极佳方式。

2. 读取JSON

Python为咱们提供了简单易用的库来实现JSON文件的读写操做，咱们能够调用库的loads()方法将JSON文本字符串转为JSON对象，能够经过dumps()方法将JSON对象转为文本字符串。

例如，这里有一段JSON形式的字符串，它是str类型，咱们用Python将其转换为可操做的数据结构，如列表或字典：

import 

str = ''' [{ "name": "Bob", "gender": "male", "birthday": "1992-10-18" }, { "name": "Selina", "gender": "female", "birthday": "1995-10-18" }] '''
print(type(str))
data = .loads(str)
print(data)
print(type(data))
复制代码

运行结果以下：

<class 'str'>
[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1995-10-18'}]
<class 'list'>
复制代码

这里使用loads()方法将字符串转为JSON对象。因为最外层是中括号，因此最终的类型是列表类型。

这样一来，咱们就能够用索引来获取对应的内容了。例如，若是想取第一个元素里的name属性，就可使用以下方式：

data[0]['name']
data[0].get('name')
复制代码

获得的结果都是：

Bob
复制代码

经过中括号加0索引，能够获得第一个字典元素，而后再调用其键名便可获得相应的键值。获取键值时有两种方式，一种是中括号加键名，另外一种是经过get()方法传入键名。这里推荐使用get()方法，这样若是键名不存在，则不会报错，会返回None。另外，get()方法还能够传入第二个参数（即默认值），示例以下：

data[0].get('age')
data[0].get('age', 25)
复制代码

运行结果以下：

None
25
复制代码

这里咱们尝试获取年龄age，其实在原字典中该键名不存在，此时默认会返回None。若是传入第二个参数（即默认值），那么在不存在的状况下返回该默认值。

值得注意的是，JSON的数据须要用双引号来包围，不能使用单引号。例如，若使用以下形式表示，则会出现错误：

import 

str = ''' [{ 'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18' }] '''
data = .loads(str)
复制代码

运行结果以下：

.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 (char 8)
复制代码

这里会出现JSON解析错误的提示。这是由于这里数据用单括号来包围，请千万注意JSON字符串的表示须要用双引号，不然loads()方法会解析失败。

若是从JSON文本中读取内容，例如这里有一个data.文本文件，其内容是刚才定义的JSON字符串，咱们能够先将文本文件内容读出，而后再利用loads()方法转化：

import 

with open('data.', 'r') as file:
    str = file.read()
    data = .loads(str)
    print(data)
复制代码

运行结果以下：

[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1995-10-18'}]
复制代码

3. 输出JSON

另外，咱们还能够调用dumps()方法将JSON对象转化为字符串。例如，将上例中的列表从新写入文本：

import 

data = [{
    'name': 'Bob',
    'gender': 'male',
    'birthday': '1992-10-18'
}]
with open('data.', 'w') as file:
    file.write(.dumps(data))
复制代码

利用dumps()方法，咱们能够将JSON对象转为字符串，而后再调用文件的write()方法写入文本，结果如图5-2所示。

图5-2 写入结果

另外，若是想保存JSON的格式，能够再加一个参数indent，表明缩进字符个数。示例以下：

with open('data.', 'w') as file:
    file.write(.dumps(data, indent=2))
复制代码

此时写入结果如图5-3所示。

图5-3 写入结果

这样获得的内容会自动带缩进，格式会更加清晰。

另外，若是JSON中包含中文字符，会怎么样呢？例如，咱们将以前的JSON的部分值改成中文，再用以前的方法写入到文本：

import 

data = [{
    'name': '王伟',
    'gender': '男',
    'birthday': '1992-10-18'
}]
with open('data.', 'w') as file:
    file.write(.dumps(data, indent=2))
复制代码

写入结果如图5-4所示。

图5-4 写入结果

能够看到，中文字符都变成了Unicode字符，这并非咱们想要的结果。

为了输出中文，还须要指定参数ensure_ascii为False，另外还要规定文件输出的编码：

with open('data.', 'w', encoding='utf-8') as file:
    file.write(.dumps(data, indent=2, ensure_ascii=False))
复制代码

写入结果如图5-5所示。

图5-5 写入结果

能够发现，这样就能够输出JSON为中文了。

本节中，咱们了解了用Python进行JSON文件读写的方法，后面作数据解析时常常会用到，建议熟练掌握。

本资源首发于崔庆才的我的博客静觅： Python3网络爬虫开发实战教程 | 静觅

如想了解更多爬虫资讯，请关注个人我的微信公众号：进击的Coder

weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)