python 基础 10.0 nosql 简介--redis 链接池及管道

一. NOSQL 数据库简介

NoSQL 泛指非关系型的数据库。非关系型数据库与关系型数据库的差异

非关系型数据库的优点：

1.性能NOSQL 是基于键值对的，能够想象成表中的主键和值的对应关系，并且不须要通过SQL 层的解析，因此性能很是高。

2.可扩展性一样也是由于基于键值对，数据之间没有耦合性，因此很是容易水平扩展。

 

关系型数据库的优点：

1. 复杂查询能够用SQL语句方便的在一个表以及多个表之间作很是复杂的数据查询。

2.事务支持使得对于安全性能很高的数据访问要求得以实现。对于这两类数据库，对方的优点就是本身的弱势。反之亦然。可是近年来这两种数据库都在向着另一个方向进化。例如：NOSQL 数据库慢慢开始具有SQL 数据库的一些复杂查询功能的雏形，好比 Couchbase 的index 以及 MONGO 的复杂查询。对于事务的支持也能够用一些系统级的原子操做来实现例如乐观锁之类的方法来曲线救国。SQL 数据库也开始慢慢进化，好比 HandlerSocker 技术的实现，能够在MYSQL上实现对于SQL 层的穿透，用NOSQL 的方式访问数据库，性能能够上达到甚至超越NOSQL 数据库。可扩展性上例如Percona Server ，能够实现无中心化的集群。虽然这两级都由于各自的弱势而开始进化出另外一极的一些特征性，可是这些特性的增长也会消弱其原本具有的优点，好比Couchbase上的index 的增长会逐步下降数据库的读写性能。因此构建系统的短时间和长期存储策略，用好他们各自的强项是架构师须要好好考虑的重要问题。

 

 

二. python 操做 redis

redis 的概念：

redis 是一个key-value 存储系统。和Memcached 相似，它支持存储的value类型相对更多，包括string ，list，set（集合），zset（sorted set --有序集合）和hash（哈希类型）。这些数据类型都支持 push/pop add/remove 及取交际并集和差集更丰富的操做，并且这些操做都是原子性的。在此基础上，redis支持各类不一样方式的排序。与memcached同样，为了保证效率，数据都是缓存在内存中。区别的是redis 会周期性的把更新的数据写入磁盘或者把修改操做写入追加的记录文件，而且在此基础上实现了master-slave（主从）同步。

Redis 是一个高性能的key-value 数据库。redis 的出现，很大程度补偿了memcached 这类 key/value 存储的不足，在部分场合能够对关系数据库起到很好的补充做用。

Readis 支持主从同步。数据能够从主服务器向任意数量的从服务器上同步，从服务器能够是关联其余从服务器的主服务器。这使得Redis 可执行单层树复制。存盘能够有意无心的对数据进行写操做。因为彻底实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操做的可扩展性和数据冗余颇有帮助。

 

 

三. Redis 的搭建

见本博客地址： http://www.cnblogs.com/lzcys8868/p/7532873.html

或以下进行简易安装redis

#cd /usr/local/src

#wget http://download.redis.io/releases/redis-3.0.1.tar.gz

#tar xzf redis-3.0.1.tar.gz

#cd redis-3.0.1

#make

#更改redis.conf 把 daemonize no 更改成 daemonize yes 。能够后台启动

#src/redis-server & 或 src/redis-server + redis.conf 配置文件路径

检查redis是否正常启动

Ps –ef |grep redis

Netstat –lnp |grep 6379

 

四 linux 上 redis 客户端安装

pip install redis

 

 

 

五. redis 的简单操做

 

#/usr/bin/python

#-*- coding:utf-8 -*-

#@Time :2017/11/26 21:06

#@Auther :liuzhenchuan

#@File :redis 安装.py

 

#pycharm 安装redis 只需导入redis模块

import redis

 

##一. redis 简单操做

#方法一，链接redis。及插入数据

 

redis_config = {

'host':'192.168.16.70',

'port':6379

 

}

r = redis.Redis(**redis_config)

 

#set 操做 第一个参数就是key 第二个参数就是value

r.set('liu','you are very good')

 

# r.keys 就是获取到全部的keys

print (r.keys())

 

# r.get 就是获取到key的值

print r.get('liu')

 

# 链接redis ，方法二

r = redis.Redis(host='192.168.16.70',port=6379)

 

 

##二. redis 链接池

print '##'*5 + 'redis 链接池' + '##'*5

def get_redis_connect():

redis_config = {

'host': '192.168.16.70',

'port': 6379

}

pool = redis.ConnectionPool(**redis_config)

r = redis.Redis(connection_pool=pool)

return r

if __name__ == '__main__':

r = get_redis_connect()

r.set('name','lzc')

r.set('age','18')

print r.get('name')

print r.get('age')

print r.keys()

 

>>>

##########redis 链接池##########

lzc

18

['name', 'liu', 'age']

 

 

六. redis 的管道

##能够一次执行屡次redis 命令

管道：

redis-py 默认在执行每次请求都会建立（链接池申请链接）和断开（归还链接池）一次链接操做，若是想要在一次请求中指定多个命令，则可使用pipline 实现一次请求指定多个命令，而且默认状况下一次pipline 是原子性操做。减小功耗redis是一个cs模式的tcp server，使用和http相似的请求响应协议。一个client能够经过一个socket链接发起多个请求命令。每一个请求命令发出后client一般会阻塞

并等待redis 服务处理，redis 处理完成后请求命令后会将结果经过相应报文返回给client。

 

 

 

 

七. 应用管道与不该用管道的时间差为10倍

 

#/usr/bin/python

#-*- coding:utf-8 -*-

#@Time :2017/11/26 23:39

#@Auther :liuzhenchuan

#@File :redis 管道.py

import datetime

import redis

 

 

def withpipe(r):

pipe = r.pipeline(transaction=True)

for i in xrange(1, 1000):

key = "test1" + str(i)

value = "test1" + str(i)

pipe.set(key, value)

pipe.execute()

 

 

def withoutpipe(r):

# pipe = r.pipeline(transaction=True)

for i in xrange(1, 1000):

key = "test1" + str(i)

value = "test1" + str(i)

r.set(key, value)

 

if __name__ == "__main__":

pool = redis.ConnectionPool(host="192.168.16.70", port=6379, db=0)

r1 = redis.Redis(connection_pool=pool)

r2 = redis.Redis(connection_pool=pool)

start = datetime.datetime.now()

print(start)

withpipe(r1)

end = datetime.datetime.now()

# print((end-start).microseconds)

print(end-start)

t_time = (end - start).microseconds

print("withpipe time is : {0}".format(t_time))

 

start = datetime.datetime.now()

withoutpipe(r2)

end = datetime.datetime.now()

t_time = (end - start).microseconds

print("withoutpipe time is : {0}".format(t_time))

 

 

>>>

2017-11-26 23:49:58.260000

0:00:00.063000

withpipe time is : 63000

withoutpipe time is : 489000