75.nosql memcached与安装及查看状态

21.1 nosql介绍

21.2 memrcached介绍

21.3 安装memcached

21.4 查看memcachedq状态

 

 

 

 

21.1 nosql介绍

 

什么是NoSQL：

1.非关系型数据库就是NoSQL，关系型数据库表明MySQL

也是一种数据库，来存储数据的。典型的关系型数据库就是mysql等等，关系型数据库都有一个特色就是可使用sql语句。 对于非关系型数据库没有这样的用法

2.对于关系型数据库来讲，是须要把数据存储到库、表、行、字段里，查询的时候根据条件一行一行地去匹配，当量很是大的时候就很耗费时间和资源，尤为是数据是须要从磁盘里去检索

关系型数据库最小的单元是字段。好比咱们建立了一个表，这个表包括了用户的名字、ID、年龄、职业等等，每一个字段了都有他对应的数据，咱们查询的时候纪要根据条件一行一行的去匹配，就会很慢。由于咱们是吧数据存放在磁盘里，他须要整个的遍历，一点一点的去查。因此这种关系型数据库，当量很是大的时候，是比较耗费资源的

3.NoSQL数据库存储原理很是简单（典型的数据类型为k-v），不存在繁杂的关系链，好比mysql查询的时候，须要找到对应的库、表（一般是多个表）以及字段。

k-v表示一个键一个值。 好比存数据，就只存用户，对应的他的名字，再存一个值好比年龄，是20岁。就相似这么简单的数据。那么查询的时候也很容易，直接查用户就能直接出来，不须要一行一行的去匹配。

他不须要多个表的关联，好比商品的售卖（京东、淘宝），他要查一个订单，就要多个表结合起来一块儿查。由于不一样的表存的东西不同，好比一个表放顾客信息，一个表放商品信息等等。因此叫关系型数据库，他们有相互的关联。而非关系型的设计理念就是不须要这些错综复杂的理念在里头，就很是简单的一个k一个v

4.NoSQL数据能够存储在内存里，查询速度很是快

他的优点。内存比磁盘的读取要快不少

5.NoSQL在性能表现上虽然能优于关系型数据库，可是它并不能彻底替代关系型数据库

当咱们有复杂的需求的时候，是不能知足的

好比咱们访问discuz的时候，当访问量很大的时候，数据库顶不住了。那咱们能够加一层缓存，那这层缓存就可使用nosql。那缓存必然是在内存里。咱们好比要查一个帖子，查完以后现放到内存里（nosql），那帖子有一个帖子ID，对应着帖子的内容。那就能够理解帖子ID叫作K，帖子内容是V。而咱们一条一条的把论坛的帖子内容，缓存在nosql里，当用户访问的时候，咱们不去查数据库里的，直接查缓存。从而减轻数据库的查询压力。这是最典型的用法

6.NoSQL由于没有复杂的数据结构，扩展很是容易，支持分布式

相对于mysql来讲，咱们要把多个表联合起来，查一个信息。那当A机器数据量满了，咱们加一台B服务器，咱们在查询的时候就会比较麻烦。目前的技术手段是不能实现的，不能把他们结合在一块儿。但nosql就能够，由于他没有关系，不存在A表B表之间的关联，咱们就能够横向扩展。我加一台服务器过来，那就继续存呗，因此他支持分布式。那也就是说当他访问量很大的时候，咱们能够以增长服务器的形式老实现横向扩展

那mysql怎么处理这种瓶颈问题呢？只能作主从，一主多从，针对这些从作负载均衡。那还有一种方案就是分库分表，放在不一样的服务器上，固然了，关联的要放在一块儿，不关联的才能分开。这是他的局限性

 

常见NoSQL数据库：

1. k-v形式的：memcached、redis 适合储存用户信息，好比会话、配置文件、参数、购物车等等。这些信息通常都和ID（键）挂钩，这种情景下键值数据库是个很好的选择。

2.文档数据库：mongodb 将数据以文档的形式储存。每一个文档都是一系列数据项的集合。每一个数据项都有一个名称与对应的值，值既能够是简单的数据类型，如字符串、数字和日期等；也能够是复杂的类型，若有序列表和关联对象。数据存储的最小单位是文档，同一个表中存储的文档属性能够是不一样的，数据可使用XML、JSON或者JSONB等多种形式存储。

特殊的用法，好比能够存储二进制的东西

3.列存储 Hbase

4.图 Neo4J、Infinite Graph、OrientDB #做为了解

 

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

 

21.2 memcached介绍

 

 

 

Memcached在LNMP、LAMP架构里承担的角色是缓存。他能够存储好比说，论坛的贴子，也能够存储数字，用户访问量、在线人数等等，这样见得数字很容易缓存在memcached里面的

1.Memcached是国外社区网站LiveJournal团队开发，目的是为了经过缓存数据库查询结果，减小数据库访问次数，从而提升动态web站点性能。

2.官方站点 http://www.memcached.org/ 

3.数据结构简单(k-v)，数据存放在内存里

memchcaed的数据不支持落地，不支持持久化。也就意味着一旦重启服务器，或者已重启memcached服务，原来存储的数据就会丢失。因此存储的数据很重要的话，仍是要注意一下。为保证数据的安全，能够不按期的把数据作一个落地，把它存到硬盘里去。好比咱们每次重启服务，先把数据存到磁盘里，启动以后再把磁盘的数据导入到mencached里面去

4.多线程

memcached是个多线程的服务。当你的cpu不少的时候，用memcached是很快的

5.基于c/s架构，协议简单

使用memcached就要启动一个服务，客户端去链接这个服务端，去通讯

6.基于libevent的事件处理

以前的nginx也是基于libevent

7.自主内存存储处理（slab allowcation) #下面详解

8.数据过时方式：Lazy Expiration 和 LRU

 

Memcached的数据流向：

 

正常状况下，用户发起请求给nginx（好比LNMP架构），nginx给php-fpm，php-fpm解析完以后，若是发现查询的是一个帖子，就去mysql里查，最终由nginx反馈给用户，这是一个正常的数据流向。

而这里memcached，是先到mysql里查数据，查到以后，经过php-fpm把结果存储到memcached里面去，再次查询就不须要去mysql里查了，直接从memcached缓存层里返回给用户就能够了

 

Slab allocation：

1.Slab Allocation的原理

2.将分配的内存分割成各类尺寸的块（chunk）， 并把尺寸相同的块分红组（chunk的集合），每一个 chunk集合被称为slab。

4.Memcached的内存分配以Page为单位，Page默认值为1M，能够在启动时经过-I参数来指定。

5.Slab是由多个Page组成的，Page按照指定大小切割成多个chunk。

chunk的大小由下面的Growth factor （增加因子），来决定

Growth factor （增加因子）： #做为了解

1.Memcached在启动时经过-f选项能够指定 Growth Factor因子。该值控制chunk大小的差别。默认值为1.25。

好比第一个chunk，最小的chunk是多少，而后第二大的，第三大的。这样依次是多大，就由Growth factor （增加因子），来决定

2.经过memcached-tool命令查看指定Memcached实例的不一样slab状态，能够看到各Item所占大小（chunk大小）差距为1.25

3.命令：# memcached-tool 127.0.0.1:11211 display

 

 

 

以上文字与图，chunk属于最小的一个单元，其次是page。那page里面包含了多个chunk。而slabs又包含了多个page

 

Memcached的数据过时方式：

 

1.Lazy Expiration 

第一种就是懒惰的方式。意思为咱们在建立一个k-v的时候，就须要给k指定一个过时的时间，好比咱们指定他一个小时过时，过时后不存在内存里了。这种就是咱们用户来决定的

Memcached 内部不会监视记录是否过时，而是在get时查看记录的时间戳，检查记录是否过时。这种技术被称为lazy（惰性）expiration。所以，Memcached不会在过时监视上耗费CPU时间。

2.LRU

第二种就是会标记不被访问的数据，当内存空间不足时，就会被覆盖、腾空间给新的数据

Memcached会优先使用已超时的记录的空间，但即便如此，也会发生追加新记录时空间不足的状况，此时就要使用名为Least Recently Used（LRU）机制来分配空间。顾名思义，这是删除“最近最少使用”的记录的机制。所以，当内存空间不足时（没法从slab class获取到新的空间时），就从最近未被使用的记录中搜索，并将其空间分配给新的记录。从缓存的实用角度来看，该模型十分理想！

其实包括linux操做系统，内存的使用管理，也是有这个LRU的

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

 

21.3 安装memcached

 

 

1.yum install -y memcached libmemcached libevent

在这里咱们yum安装。也能够去官方下载源码包编译安装

直接yummemcached，会连带安装后面两个

2.systemctl start memcached #启动

3.vim /etc/sysconfig/memcached 能够配置参数

好比加上监听的ip，能够把OPTIONS="" 改成OPTIONS="127.0.0.1"

其中-m指定memcached分配内存

-c指定最大并发数

-u指定运行memcached服务的用户

 

 

实例：

[root@axinlinux-01 ~]# yum list |grep memcached

Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast

memcached.x86_64 1.4.15-10.el7_3.1 base #能够先看一下这个包为1.4版本

[root@axinlinux-01 ~]# yum install -y memcached #直接yum安装

[root@axinlinux-01 ~]# rpm -qa |grep libevent #以前讲过memcached是基于libevent的，域名安装的时候会连带安装libevent

libverto-libevent-0.2.5-4.el7.x86_64

libevent-2.0.21-4.el7.x86_64

[root@axinlinux-01 ~]# systemctl start memcached #启动

[root@axinlinux-01 ~]# ps aux |grep memcached

memcach+ 1776 0.0 0.0 344080 1664 ? Ssl 23:28 0:00 /usr/bin/memcached -u memcached -p 11211 -m 64 -c 1024

#以上这里-u指定了那个用户在执行，-p指定了他的监听端口11211，-m给他分配了内存有多大（64m），-c最大并发数。固然这些均可以去更改（如下）

root 1785 0.0 0.0 112720 980 pts/0 S+ 23:29 0:00 grep --color=auto memcached

[root@axinlinux-01 ~]# vim /etc/sysconfig/memcached #他没有配置文件，在这个文件里更改

PORT="11211" #监听的端口

USER="memcached" #用户

MAXCONN="1024" #最大链接数

CACHESIZE="64" #内存（为m）。平时咱们改一下-m也就差很少了，不须要改太多的地方

OPTIONS="" #其余，好比能够增长-l（监听的主机）。能够memcached -h看一下其余的选项

[root@axinlinux-01 ~]# memcached -h #以上其余的选项

 

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

21.4 查看memcachedq状态

 

 

咱们平时是须要查看他的运行状态的，好比链接了多少、命中率有多少（好比咱们缓存了帖子，那这个帖子有没有经过memcached去访问呢）

1.memcached-tool 127.0.0.1:11211  stats

命中率=get_hits/cmd_get（这个是咱们平时要去关注的）

2.或者echo stats |nc 127.0.0.1 11211  须要安装nc工具  yum install -y nc

3.若安装libmemcached后，可使用命令

memstat --servers=127.0.0.1:11211 查看memcached服务状态

 

 

实例：

1.

[root@axinlinux-01 ~]# memcached-tool 192.168.208.128:11211 stats

#192.168.208.128:11211 Field Value

accepting_conns 1

auth_cmds 0

auth_errors 0

bytes 0

bytes_read 7

bytes_written 0

cas_badval 0

cas_hits 0

cas_misses 0

cmd_flush 0

cmd_get 0 #总的get次数（需关注）

cmd_set 0

cmd_touch 0

conn_yields 0

connection_structures 11

curr_connections 10

curr_items 0

decr_hits 0

decr_misses 0

delete_hits 0

delete_misses 0

evicted_unfetched 0

evictions 0

expired_unfetched 0

get_hits 0 #get的总命中次数（需关注）

get_misses 0

hash_bytes 524288

hash_is_expanding 0

hash_power_level 16

incr_hits 0

incr_misses 0

libevent 2.0.21-stable

limit_maxbytes 67108864

listen_disabled_num 0

pid 1776

pointer_size 64

reclaimed 0

reserved_fds 20

rusage_system 0.035322

rusage_user 0.052984

threads 4

time 1541605626

total_connections 11

total_items 0

touch_hits 0

touch_misses 0

uptime 1114

version 1.4.15

2.

[root@axinlinux-01 ~]# echo stats |nc 192.168.208.128 11211

STAT pid 1776

STAT uptime 1805

STAT time 1541606317

STAT version 1.4.15

STAT libevent 2.0.21-stable

STAT pointer_size 64

STAT rusage_user 0.084054

STAT rusage_system 0.044499

STAT curr_connections 10

STAT total_connections 12

STAT connection_structures 11

STAT reserved_fds 20

STAT cmd_get 0

STAT cmd_set 0

STAT cmd_flush 0

STAT cmd_touch 0

STAT get_hits 0

STAT get_misses 0

STAT delete_misses 0

STAT delete_hits 0

STAT incr_misses 0

STAT incr_hits 0

STAT decr_misses 0

STAT decr_hits 0

STAT cas_misses 0

STAT cas_hits 0

STAT cas_badval 0

STAT touch_hits 0

STAT touch_misses 0

STAT auth_cmds 0

STAT auth_errors 0

STAT bytes_read 13

STAT bytes_written 1025

STAT limit_maxbytes 67108864

STAT accepting_conns 1

STAT listen_disabled_num 0

STAT threads 4

STAT conn_yields 0

STAT hash_power_level 16

STAT hash_bytes 524288

STAT hash_is_expanding 0

STAT bytes 0

STAT curr_items 0

STAT total_items 0

STAT expired_unfetched 0

STAT evicted_unfetched 0

STAT evictions 0

STAT reclaimed 0

END

[root@axinlinux-01 ~]# rpm -qf `which nc` #rpm -qf `xxx`查看命令是哪一个包安装来的

nmap-ncat-6.40-13.el7.x86_64

3.

[root@axinlinux-01 ~]# rpm -qa memstat #查看memstat这个命令有没有安装

[root@axinlinux-01 ~]# yum install -y libmemcached #yum安装一下

[root@axinlinux-01 ~]# memstat --servers 127.0.0.1:11211

Server: 127.0.0.1 (11211)

pid: 1776

uptime: 2222

time: 1541606734

version: 1.4.15

libevent: 2.0.21-stable

pointer_size: 64

rusage_user: 0.097368

rusage_system: 0.058421

curr_connections: 10

total_connections: 14

connection_structures: 11

reserved_fds: 20

cmd_get: 0

cmd_set: 0

cmd_flush: 0

cmd_touch: 0

get_hits: 0

get_misses: 0

delete_misses: 0

delete_hits: 0

incr_misses: 0

incr_hits: 0

decr_misses: 0

decr_hits: 0

cas_misses: 0

cas_hits: 0

cas_badval: 0

touch_hits: 0

touch_misses: 0

auth_cmds: 0

auth_errors: 0

bytes_read: 37

bytes_written: 3099

limit_maxbytes: 67108864

accepting_conns: 1

listen_disabled_num: 0

threads: 4

conn_yields: 0

hash_power_level: 16

hash_bytes: 524288

hash_is_expanding: 0

bytes: 0

curr_items: 0

total_items: 0

expired_unfetched: 0

evicted_unfetched: 0

evictions: 0

reclaimed: 0