【Python3网络爬虫开发实战】5-数据存储-3-非关系型数据库存储-2 Redis存储

时间 2019-11-17

标签 python3 python 网络爬虫开发实战数据存储关系数据库 redis 栏目 Python 繁體版

原文原文链接

Redis是一个基于内存的高效的键值型非关系型数据库，存取效率极高，并且支持多种存储数据结构，使用也很是简单。本节中，咱们就来介绍一下Python的Redis操做，主要介绍RedisPy这个库的用法。html

1. 准备工做

在开始以前，请确保已经安装好了Redis及RedisPy库。若是要作数据导入/导出操做的话，还须要安装RedisDump。若是没有安装，能够参考第1章。redis

2. Redis和StrictRedis

RedisPy库提供两个类Redis和StrictRedis来实现Redis的命令操做。数据库

StrictRedis实现了绝大部分官方的命令，参数也一一对应，好比set()方法就对应Redis命令的set方法。而Redis是StrictRedis的子类，它的主要功能是用于向后兼容旧版本库里的几个方法。为了作兼容，它将方法作了改写，好比lrem()方法就将value和num参数的位置互换，这和Redis命令行的命令参数不一致。json

官方推荐使用StrictRedis，因此本节中咱们也用StrictRedis类的相关方法做演示。bash

3. 链接Redis

如今咱们已经在本地安装了Redis并运行在6379端口，密码设置为foobared。那么，能够用以下示例链接Redis并测试：微信

from redis import StrictRedis

redis = StrictRedis(host='localhost', port=6379, db=0, password='foobared')

redis.set('name', 'Bob')

print(redis.get('name'))

这里咱们传入了Redis的地址、运行端口、使用的数据库和密码信息。在默认不传的状况下，这4个参数分别为localhost、6379、0和None。首先声明了一个StrictRedis对象，接下来调用set()方法，设置一个键值对，而后将其获取并打印。网络

运行结果以下：数据结构

b'Bob'

这说明咱们链接成功，并能够执行set()和get()操做了。架构

固然，咱们还可使用ConnectionPool来链接，示例以下：app

from redis import StrictRedis, ConnectionPool

pool = ConnectionPool(host='localhost', port=6379, db=0, password='foobared')

redis = StrictRedis(connection_pool=pool)

这样的链接效果是同样的。观察源码能够发现，StrictRedis内其实就是用host和port等参数又构造了一个ConnectionPool，因此直接将ConnectionPool看成参数传给StrictRedis也同样。

另外，ConnectionPool还支持经过URL来构建。URL的格式支持有以下3种：

redis://[:password]@host:port/db

rediss://[:password]@host:port/db

unix://[:password]@/path/to/socket.sock?db=db

这3种URL分别表示建立Redis TCP链接、Redis TCP+SSL链接、Redis UNIX socket链接。咱们只须要构造上面任意一种URL便可，其中password部分若是有则能够写，没有则能够省略。下面再用URL链接演示一下：

url = 'redis://:foobared@localhost:6379/0'

pool = ConnectionPool.from_url(url)

redis = StrictRedis(connection_pool=pool)

这里咱们使用第一种链接字符串进行链接。首先，声明一个Redis链接字符串，而后调用from_url()方法建立ConnectionPool，接着将其传给StrictRedis便可完成链接，因此使用URL的链接方式仍是比较方便的。

4. 键操做

表5-5总结了键的一些判断和操做方法。

表5-5 键的一些判断和操做方法

方法	做用	参数说明	示例	示例说明	示例结果
`exists(name)`	判断一个键是否存在	`name`：键名	`redis.exists('name')`	是否存在`name`这个键	`True`
`delete(name)`	删除一个键	`name`：键名	`redis.delete('name')`	删除`name`这个键	1
`type(name)`	判断键类型	`name`：键名	`redis.type('name')`	判断`name`这个键类型	`b'string'`
`keys(pattern)`	获取全部符合规则的键	`pattern`：匹配规则	`redis.keys('n*')`	获取全部以`n`开头的键	`[b'name']`
`randomkey()`	获取随机的一个键		`randomkey()`	获取随机的一个键	`b'name'`
`rename(src, dst)`	重命名键	`src`：原键名；`dst`：新键名	`redis.rename('name', 'nickname')`	将`name`重命名为`nickname`	`True`
`dbsize()`	获取当前数据库中键的数目		`dbsize()`	获取当前数据库中键的数目	100
`expire(name, time)`	设定键的过时时间，单位为秒	`name`：键名；`time`：秒数	`redis.expire('name', 2)`	将`name`键的过时时间设置为2秒	`True`
`ttl(name)`	获取键的过时时间，单位为秒，-1表示永久不过时	`name`：键名	`redis.ttl('name')`	获取`name`这个键的过时时间	-1
`move(name, db)`	将键移动到其余数据库	`name`：键名；`db`：数据库代号	`move('name', 2)`	将`name`移动到2号数据库	`True`
`flushdb()`	删除当前选择数据库中的全部键		`flushdb()`	删除当前选择数据库中的全部键	`True`
`flushall()`	删除全部数据库中的全部键		`flushall()`	删除全部数据库中的全部键	`True`

5. 字符串操做

Redis支持最基本的键值对形式存储，用法总结如表5-6所示。

表5-6 键值对形式存储

方法	做用	参数说明	示例	示例说明	示例结果
`set(name, value)`	给数据库中键为`name`的`string`赋予值`value`	`name`: 键名；`value`: 值	`redis.set('name', 'Bob')`	给`name`这个键的`value`赋值为`Bob`	`True`
`get(name)`	返回数据库中键为`name`的`string`的`value`	`name`：键名	`redis.get('name')`	返回`name`这个键的`value`	`b'Bob'`
`getset(name, value)`	给数据库中键为`name`的`string`赋予值`value`并返回上次的`value`	`name`：键名；`value`：新值	`redis.getset('name', 'Mike')`	赋值`name`为`Mike`并获得上次的`value`	`b'Bob'`
`mget(keys, *args)`	返回多个键对应的`value`	`keys`：键的列表	`redis.mget(['name', 'nickname'])`	返回`name`和`nickname`的`value`	`[b'Mike', b'Miker']`
`setnx(name, value)`	若是不存在这个键值对，则更新`value`，不然不变	`name`：键名	`redis.setnx('newname', 'James')`	若是`newname`这个键不存在，则设置值为`James`	第一次运行结果是`True`，第二次运行结果是`False`
`setex(name, time, value)`	设置能够对应的值为`string`类型的`value`，并指定此键值对应的有效期	`name`: 键名；`time`: 有效期； `value`：值	`redis.setex('name', 1, 'James')`	将`name`这个键的值设为`James`，有效期为1秒	`True`
`setrange(name, offset, value)`	设置指定键的`value`值的子字符串	`name`：键名；`offset`：偏移量；`value`：值	`redis.set('name', 'Hello') redis.setrange('name', 6, 'World')`	设置`name`为`Hello`字符串，并在`index`为6的位置补`World`	11，修改后的字符串长度
`mset(mapping)`	批量赋值	`mapping`：字典	`redis.mset({'name1': 'Durant', 'name2': 'James'})`	将`name1`设为`Durant`，`name2`设为`James`	`True`
`msetnx(mapping)`	键均不存在时才批量赋值	`mapping`：字典	`redis.msetnx({'name3': 'Smith', 'name4': 'Curry'})`	在`name3`和`name4`均不存在的状况下才设置两者值	`True`
`incr(name, amount=1)`	键为`name`的`value`增值操做，默认为1，键不存在则被建立并设为`amount`	`name`：键名；`amount`：增加的值	`redis.incr('age', 1)`	`age`对应的值增1，若不存在，则会建立并设置为1	1，即修改后的值
`decr(name, amount=1)`	键为`name`的`value`减值操做，默认为1，键不存在则被建立并将`value`设置为`-amount`	`name`：键名； `amount`：减小的值	`redis.decr('age', 1)`	`age`对应的值减1，若不存在，则会建立并设置为-1	-1，即修改后的值
`append(key, value)`	键为`name`的`string`的值附加`value`	`key`：键名	`redis.append('nickname', 'OK')`	向键为`nickname`的值后追加`OK`	13，即修改后的字符串长度
`substr(name, start, end=-1)`	返回键为`name`的`string`的子串	`name`：键名；`start`：起始索引；`end`：终止索引，默认为-1，表示截取到末尾	`redis.substr('name', 1, 4)`	返回键为`name`的值的字符串，截取索引为1~4的字符	`b'ello'`
`getrange(key, start, end)`	获取键的`value`值从`start`到`end`的子字符串	`key`：键名；`start`：起始索引；`end`：终止索引	`redis.getrange('name', 1, 4)`	返回键为`name`的值的字符串，截取索引为1~4的字符	`b'ello'`

6. 列表操做

Redis还提供了列表存储，列表内的元素能够重复，并且能够从两端存储，用法如表5-7所示。

表5-7 列表操做

方法	做用	参数说明	示例	示例说明	示例结果
`rpush(name, *values)`	在键为`name`的列表末尾添加值为`value`的元素，能够传多个	`name`：键名；`values`：值	`redis.rpush('list', 1, 2, 3)`	向键为`list`的列表尾添加一、二、3	3，列表大小
`lpush(name, *values)`	在键为`name`的列表头添加值为`value`的元素，能够传多个	`name`：键名；`values`：值	`redis.lpush('list', 0)`	向键为`list`的列表头部添加0	4，列表大小
`llen(name)`	返回键为`name`的列表的长度	`name`：键名	`redis.llen('list')`	返回键为`list`的列表的长度	4
`lrange(name, start, end)`	返回键为`name`的列表中`start`至`end`之间的元素	`name`：键名；`start`：起始索引；`end`：终止索引	`redis.lrange('list', 1, 3)`	返回起始索引为1终止索引为3的索引范围对应的列表	`[b'3', b'2', b'1']`
`ltrim(name, start, end)`	截取键为`name`的列表，保留索引为`start`到`end`的内容	`name`：键名；`start`：起始索引；`end`：终止索引	`ltrim('list', 1, 3)`	保留键为`list`的索引为1到3的元素	`True`
`lindex(name, index)`	返回键为`name`的列表中`index`位置的元素	`name`：键名；`index`：索引	`redis.lindex('list', 1)`	返回键为`list`的列表索引为1的元素	b’2′
`lset(name, index, value)`	给键为`name`的列表中`index`位置的元素赋值，越界则报错	`name`：键名；`index`：索引位置；`value`：值	`redis.lset('list', 1, 5)`	将键为`list`的列表中索引为1的位置赋值为5	`True`
`lrem(name, count, value)`	删除`count`个键的列表中值为`value`的元素	`name`：键名；`count`：删除个数；`value`：值	`redis.lrem('list', 2, 3)`	将键为`list`的列表删除两个3	1，即删除的个数
`lpop(name)`	返回并删除键为`name`的列表中的首元素	`name`：键名	`redis.lpop('list')`	返回并删除名为`list`的列表中的第一个元素	`b'5'`
`rpop(name)`	返回并删除键为`name`的列表中的尾元素	`name`：键名	`redis.rpop('list')`	返回并删除名为`list`的列表中的最后一个元素	`b'2'`
`blpop(keys, timeout=0)`	返回并删除名称在`keys`中的`list`中的首个元素，若是列表为空，则会一直阻塞等待	`keys`：键列表；`timeout`：超时等待时间，0为一直等待	`redis.blpop('list')`	返回并删除键为`list`的列表中的第一个元素	`[b'5']`
`brpop(keys, timeout=0)`	返回并删除键为`name`的列表中的尾元素，若是`list`为空，则会一直阻塞等待	`keys`：键列表；`timeout`：超时等待时间，0为一直等待	`redis.brpop('list')`	返回并删除名为`list`的列表中的最后一个元素	`[b'2']`
`rpoplpush(src, dst)`	返回并删除名称为`src`的列表的尾元素，并将该元素添加到名称为`dst`的列表头部	`src`：源列表的键；`dst`：目标列表的key	`redis.rpoplpush('list', 'list2')`	将键为`list`的列表尾元素删除并将其添加到键为`list2`的列表头部，而后返回	`b'2'`

7. 集合操做

Redis还提供了集合存储，集合中的元素都是不重复的，用法如表5-8所示。

表5-8 集合操做

方法	做用	参数说明	示例	示例说明	示例结果
`sadd(name, *values)`	向键为`name`的集合中添加元素	`name`：键名；`values`：值，可为多个	`redis.sadd('tags', 'Book', 'Tea', 'Coffee')`	向键为`tags`的集合中添加`Book`、`Tea`和`Coffee`这3个内容	3，即插入的数据个数
`srem(name, *values)`	从键为`name`的集合中删除元素	`name`：键名；`values`：值，可为多个	`redis.srem('tags', 'Book')`	从键为`tags`的集合中删除`Book`	1，即删除的数据个数
`spop(name)`	随机返回并删除键为`name`的集合中的一个元素	`name`：键名	`redis.spop('tags')`	从键为`tags`的集合中随机删除并返回该元素	`b'Tea'`
`smove(src, dst, value)`	从`src`对应的集合中移除元素并将其添加到`dst`对应的集合中	`src`：源集合；`dst`：目标集合；`value`：元素值	`redis.smove('tags', 'tags2', 'Coffee')`	从键为`tags`的集合中删除元素`Coffee`并将其添加到键为`tags2`的集合	`True`
`scard(name)`	返回键为`name`的集合的元素个数	`name`：键名	`redis.scard('tags')`	获取键为`tags`的集合中的元素个数	3
`sismember(name, value)`	测试`member`是不是键为`name`的集合的元素	`name`：键值	`redis.sismember('tags', 'Book')`	判断`Book`是不是键为`tags`的集合元素	`True`
`sinter(keys, *args)`	返回全部给定键的集合的交集	`keys`：键列表	`redis.sinter(['tags', 'tags2'])`	返回键为`tags`的集合和键为`tags2`的集合的交集	`{b'Coffee'}`
`sinterstore(dest, keys, *args)`	求交集并将交集保存到`dest`的集合	`dest`：结果集合；`keys`：键列表	`redis.sinterstore('inttag', ['tags', 'tags2'])`	求键为`tags`的集合和键为`tags2`的集合的交集并将其保存为`inttag`	1
`sunion(keys, *args)`	返回全部给定键的集合的并集	`keys`：键列表	`redis.sunion(['tags', 'tags2'])`	返回键为`tags`的集合和键为`tags2`的集合的并集	`{b'Coffee', b'Book', b'Pen'}`
`sunionstore(dest, keys, *args)`	求并集并将并集保存到`dest`的集合	`dest`：结果集合；`keys`：键列表	`redis.sunionstore('inttag', ['tags', 'tags2'])`	求键为`tags`的集合和键为`tags2`的集合的并集并将其保存为`inttag`	3
`sdiff(keys, *args)`	返回全部给定键的集合的差集	`keys`：键列表	`redis.sdiff(['tags', 'tags2'])`	返回键为`tags`的集合和键为`tags2`的集合的差集	`{b'Book', b'Pen'}`
`sdiffstore(dest, keys, *args)`	求差集并将差集保存到`dest`集合	`dest`：结果集合；`keys`：键列表	`redis.sdiffstore('inttag', ['tags', 'tags2'])`	求键为tags`的集合和键为`tags2`的集合的差集并将其保存为`inttag`	3
`smembers(name)`	返回键为`name`的集合的全部元素	`name`：键名	`redis.smembers('tags')`	返回键为`tags`的集合的全部元素	`{b'Pen', b'Book', b'Coffee'}`
`srandmember(name)`	随机返回键为`name`的集合中的一个元素，但不删除元素	`name`：键值	`redis.srandmember('tags')`	随机返回键为`tags`的集合中的一个元素

8. 有序集合操做

有序集合比集合多了一个分数字段，利用它能够对集合中的数据进行排序，其用法总结如表5-9所示。

表5-9 有序集合操做

方法	做用	参数说明	示例	示例说明	示例结果
`zadd(name, args, *kwargs)`	向键为`name`的zset中添加元素member，score用于排序。若是该元素存在，则更新其顺序	`name`：键名；`args`：可变参数	`redis.zadd('grade', 100, 'Bob', 98, 'Mike')`	向键为`grade`的zset中添加`Bob`（其`score`为100），并添加`Mike`（其`score`为98）	2，即添加的元素个数
`zrem(name, *values)`	删除键为`name`的zset中的元素	`name`：键名；`values`：元素	`redis.zrem('grade', 'Mike')`	从键为`grade`的zset中删除`Mike`	1，即删除的元素个数
`zincrby(name, value, amount=1)`	若是在键为`name`的zset中已经存在元素`value`，则将该元素的`score`增长`amount`；不然向该集合中添加该元素，其`score`的值为`amount`	`name`：key名；`value`：元素；`amount`：增加的`score`值	`redis.zincrby('grade', 'Bob', -2)`	键为`grade`的zset中`Bob`的`score`减2	98.0，即修改后的值
`zrank(name, value)`	返回键为`name`的zset中元素的排名，按`score`从小到大排序，即名次	`name`：键名；`value`：元素值	`redis.zrank('grade', 'Amy')`	获得键为`grade`的zset中`Amy`的排名	1
`zrevrank(name, value)`	返回键为`name`的zset中元素的倒数排名（按`score`从大到小排序），即名次	`name`：键名；`value`：元素值	`redis.zrevrank('grade', 'Amy')`	获得键为`grade`的zset中`Amy`的倒数排名	2
`zrevrange(name, start, end, withscores=False)`	返回键为`name`的zset（按`score`从大到小排序）中`index`从`start`到`end`的全部元素	`name`：键值；`start`：开始索引；`end`：结束索引；`withscores`：是否带`score`	`redis.zrevrange('grade', 0, 3)`	返回键为`grade`的zset中前四名元素	`[b'Bob', b'Mike', b'Amy', b'James']`
`zrangebyscore(name, min, max, start=None, num=None, withscores=False)`	返回键为`name`的zset中`score`在给定区间的元素	`name`：键名；`min`：最低`score`；`max`：最高`score`； `start`：起始索引；`num`：个数；`withscores`：是否带`score`	`redis.zrangebyscore('grade', 80, 95)`	返回键为`grade`的zset中`score`在80和95之间的元素	`[b'Bob', b'Mike', b'Amy', b'James']`
`zcount(name, min, max)`	返回键为`name`的zset中`score`在给定区间的数量	`name`：键名；`min`：最低`score`；max：最高`score`	`redis.zcount('grade', 80, 95)`	返回键为`grade`的zset中`score`在80到95的元素个数	2
`zcard(name)`	返回键为`name`的zset的元素个数	`name`：键名	`redis.zcard('grade')`	获取键为`grade`的zset中元素的个数	3
`zremrangebyrank(name, min, max)`	删除键为`name`的zset中排名在给定区间的元素	`name`：键名；`min`：最低位次；`max`：最高位次	`redis.zremrangebyrank('grade', 0, 0)`	删除键为`grade`的zset中排名第一的元素	1，即删除的元素个数
`zremrangebyscore(name, min, max)`	删除键为`name`的zset中`score`在给定区间的元素	`name`：键名；`min`：最低`score`；`max`：最高`score`	`redis.zremrangebyscore('grade', 80, 90)`	删除`score`在80到90之间的元素	1，即删除的元素个数

9. 散列操做

Redis还提供了散列表的数据结构，咱们能够用name指定一个散列表的名称，表内存储了各个键值对，用法总结如表5-10所示。

表5-10 散列操做

方法	做用	参数说明	示例	示例说明	示例结果
`hset(name, key, value)`	向键为`name`的散列表中添加映射	`name`：键名；`key`：映射键名；`value`：映射键值	`hset('price', 'cake', 5)`	向键为`price`的散列表中添加映射关系，`cake`的值为5	1，即添加的映射个数
`hsetnx(name, key, value)`	若是映射键名不存在，则向键为`name`的散列表中添加映射	`name`：键名；`key`：映射键名；`value`：映射键值	`hsetnx('price', 'book', 6)`	向键为`price`的散列表中添加映射关系，`book`的值为6	1，即添加的映射个数
`hget(name, key)`	返回键为`name`的散列表中`key`对应的值	`name`：键名；`key`：映射键名	`redis.hget('price', 'cake')`	获取键为`price`的散列表中键名为`cake`的值	5
`hmget(name, keys, *args)`	返回键为`name`的散列表中各个键对应的值	`name`：键名；`keys`：映射键名列表	`redis.hmget('price', ['apple', 'orange'])`	获取键为`price`的散列表中`apple`和`orange`的值	`[b'3', b'7']`
`hmset(name, mapping)`	向键为`name`的散列表中批量添加映射	`name`：键名；`mapping`：映射字典	`redis.hmset('price', {'banana': 2, 'pear': 6})`	向键为`price`的散列表中批量添加映射	`True`
`hincrby(name, key, amount=1)`	将键为`name`的散列表中映射的值增长`amount`	`name`：键名；`key`：映射键名；`amount`：增加量	`redis.hincrby('price', 'apple', 3)`	`key`为`price`的散列表中`apple`的值增长3	6，修改后的值
`hexists(name, key)`	键为`name`的散列表中是否存在键名为键的映射	`name`：键名；`key`：映射键名	`redis.hexists('price', 'banana')`	键为`price`的散列表中`banana`的值是否存在	`True`
`hdel(name, *keys)`	在键为`name`的散列表中，删除键名为键的映射	`name`：键名；`keys`：映射键名	`redis.hdel('price', 'banana')`	从键为`price`的散列表中删除键名为`banana`的映射	`True`
`hlen(name)`	从键为`name`的散列表中获取映射个数	`name`：键名	`redis.hlen('price')`	从键为`price`的散列表中获取映射个数	6
`hkeys(name)`	从键为`name`的散列表中获取全部映射键名	`name`：键名	`redis.hkeys('price')`	从键为`price`的散列表中获取全部映射键名	`[b'cake', b'book', b'banana', b'pear']`
`hvals(name)`	从键为`name`的散列表中获取全部映射键值	`name`：键名	`redis.hvals('price')`	从键为`price`的散列表中获取全部映射键值	`[b'5', b'6', b'2', b'6']`
`hgetall(name)`	从键为`name`的散列表中获取全部映射键值对	`name`：键名	`redis.hgetall('price')`	从键为`price`的散列表中获取全部映射键值对	`{b'cake': b'5', b'book': b'6', b'orange': b'7', b'pear': b'6'}`

10. RedisDump

RedisDump提供了强大的Redis数据的导入和导出功能，如今就来看下它的具体用法。

首先，确保已经安装好了RedisDump。

RedisDump提供了两个可执行命令：redis-dump用于导出数据，redis-load用于导入数据。

redis-dump

首先，能够输入以下命令查看全部可选项：

1	redis-dump -h

运行结果以下：

Usage: redis-dump [global options] COMMAND [command options]     -u, --uri=S                      Redis URI (e.g. redis://hostname[:port])    -d, --database=S                 Redis database (e.g. -d 15)    -s, --sleep=S                    Sleep for S seconds after dumping (for debugging)    -c, --count=S                    Chunk size (default: 10000)    -f, --filter=S                   Filter selected keys (passed directly to redis' KEYS command) -O, --without_optimizations Disable run time optimizations -V, --version Display version -D, --debug --nosafe复制代码

其中-u表明Redis链接字符串，-d表明数据库代号，-s表明导出以后的休眠时间，-c表明分块大小，默认是10000，-f表明导出时的过滤器，-O表明禁用运行时优化，-V用于显示版本，-D表示开启调试。

咱们拿本地的Redis作测试，运行在6379端口上，密码为foobared，导出命令以下：

1	redis-dump -u :foobared@localhost:6379

若是没有密码的话，能够不加密码前缀，命令以下：

1	redis-dump -u localhost:6379

运行以后，能够将本地0至15号数据库的全部数据输出出来，例如：

{"db":0,"key":"name","ttl":-1,"type":"string","value":"James","size":5}

{"db":0,"key":"name2","ttl":-1,"type":"string","value":"Durant","size":6}

{"db":0,"key":"name3","ttl":-1,"type":"string","value":"Durant","size":6}

{"db":0,"key":"name4","ttl":-1,"type":"string","value":"HelloWorld","size":10}

{"db":0,"key":"name5","ttl":-1,"type":"string","value":"James","size":5}

{"db":0,"key":"name6","ttl":-1,"type":"string","value":"James","size":5}

{"db":0,"key":"age","ttl":-1,"type":"string","value":"1","size":1}

{"db":0,"key":"age2","ttl":-1,"type":"string","value":"-5","size":2}

每条数据都包含6个字段，其中db即数据库代号，key即键名，ttl即该键值对的有效时间，type即键值类型，value即内容，size即占用空间。

若是想要将其输出为JSON行文件，可使用以下命令：

1	redis-dump -u :foobared@localhost:6379 > ./redis_data.jl

这样就能够成功将Redis的全部数据库的全部数据导出成JSON行文件了。

另外，可使用-d参数指定某个数据库的导出，例如只导出1号数据库的内容：

1	redis-dump -u :foobared@localhost:6379 -d 1 > ./redis.data.jl

若是只想导出特定的内容，好比想导出以adsl开头的数据，能够加入-f参数用来过滤，命令以下：

1	redis-dump -u :foobared@localhost:6379 -f adsl:* > ./redis.data.jl

其中-f参数即Redis的keys命令的参数，能够写一些过滤规则。

redis-load

一样，咱们能够首先输入以下命令查看全部可选项：

1	redis-load -h

运行结果以下：

redis-load --help  Try: redis-load [global options] COMMAND [command options]     -u, --uri=S                      Redis URI (e.g. redis://hostname[:port])    -d, --database=S                 Redis database (e.g. -d 15)    -s, --sleep=S                    Sleep for S seconds after dumping (for debugging)    -n, --no_check_utf8    -V, --version                    Display version    -D, --debug        --nosafe复制代码

其中-u表明Redis链接字符串，-d表明数据库代号，默认是所有，-s表明导出以后的休眠时间，-n表明不检测UTF-8编码，-V表示显示版本，-D表示开启调试。

咱们能够将JSON行文件导入到Redis数据库中：

1	< redis_data.json redis-load -u :foobared@localhost:6379

这样就能够成功将JSON行文件导入到数据库中了。

另外，下面的命令一样能够达到一样的效果：

1	cat redis_data.json \| redis-load -u :foobared@localhost:6379

本节中，咱们不只了解了RedisPy对Redis数据库的一些基本操做，还演示了RedisDump对数据的导入导出操做。因为其便捷性和高效性，后面咱们会利用Redis实现不少架构，如维护代理池、Cookies池、ADSL拨号代理池、Scrapy-Redis分布式架构等，因此Redis的操做须要好好掌握。

本资源首发于崔庆才的我的博客静觅： Python3网络爬虫开发实战教程 | 静觅

如想了解更多爬虫资讯，请关注个人我的微信公众号：进击的Coder

weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)