redis缓存mysql

时间 2021-04-03

标签 php html mysql nginx c++ redis sql 数据库 json vim 栏目 Redis 繁體版

原文原文链接

Redis是一个key-value存储系统。和Memcached相似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操做，并且这些操做都是原子性的。在此基础上，redis支持各类不一样方式的排序。与memcached同样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操做写入追加的记录文件，而且在此基础上实现了master-slave(主从)同步。php

Redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部分场合能够对关系数据库起到很好的补充做用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。html

在Redis中，并非全部的数据都一直存储在内存中的。这是和Memcached相比一个最大的区别。Redis只会缓存全部的key的信息，若是Redis发现内存的使用量超过了某一个阀值，将触发swap的操做，Redis根据“swappability = age*log(sizeinmemory)”计算出哪些key对应的value须要swap到磁盘。而后再将这些key对应的value持久化到磁盘中，同时在内存中清除。这种特性使得Redis能够保持超过其机器自己内存大小的数据。固然，机器自己的内存必需要可以保持全部的key，毕竟这些数据是不会进行swap操做的。同时因为Redis将内存中的数据swap到磁盘中的时候，提供服务的主线程和进行swap操做的子线程会共享这部份内存，因此若是更新须要swap的数据，Redis将阻塞这操做，直到子线程完成swap操做后才能够进行修改。 mysql

从Redis中读取数据的时候，若是读取的key对应的value不在内存中，那么Redis就须要从swap文件中加载相应数据，而后再返回给请求方。这里就存在一个I/O线程池的问题。在默认的状况下，Redis会出现阻塞，即完成全部的swap文件加载后才会相应。这种策略在客户端的数量较小，进行批量操做的时候比较合适。可是若是将Redis应用在一个大型的网站应用程序中，这显然是没法知足大并发的状况的。因此Redis运行咱们设置I/O线程池的大小，对须要从swap文件中加载相应数据的读取请求进行并发操做，减小阻塞的时间。nginx

全部Redis的操做是原子的，这保证了若是两个客户端同时访问的Redis服务器将得到更新后的值。Redis是一个多实用的工具，能够在一些像缓存，消息，队列用例中使用（Redis原生支持发布/订阅），在应用程序，如Web应用程序的会话，网络页面点击数短时间数据等等。c++

此外对于变化频率很是快的数据来讲，若是还选择传统的静态缓存方式（Memocached、File System等）展现数据，可能在缓存的存取上会有很大的开销，并不能很好的知足须要，而Redis这样基于内存的NoSQL数据库，就很是适合担任实时数据的容器。redis

在用Redis做为Mysql的缓存时咱们能够用gearman来进行数据的同步。sql

Gearman是一个支持分布式的任务分发框架。设计简洁，得到了很是普遍的支持。一个典型的Gearman应用包括如下这些部分：数据库

Gearman Job Server：Gearman核心程序，须要编译安装并以守护进程形式运行在后台json

Gearman Client：能够理解为任务的收件员，好比我要在后台执行一个发送邮件的任务，能够在程序中调用一个Gearman Client并传入邮件的信息，而后就能够将执行结果当即展现给用户，而任务自己会慢慢在后台运行。vim

Gearman Worker：任务的真正执行者，通常须要本身编写具体逻辑并经过守护进程方式运行，Gearman Worker接收到Gearman Client传递的任务内容后，会按顺序处理。

Gearman实现redis缓存mysql的大体流程：

首先利用mysql UDF（经过了libmysqludfjson和gearman-mysql-udf的组合实现）在mysql中的数据发生改变时触动触发器将数据传入Gearman中，这时的mysql至关于Gearman的clinet。而后运行本身编写的php程序做为worker，将Gearman中的数据传到Redis中去，这时的Redis至关因而Gearman的consumer。

下面redis缓存mysql的配置过程了（实验环境rhel6.5）：

Redis的安装：

tar zxf redis-3.0.2.tar.gz 
yum install gcc -y
cd redis-3.0.2
make 
make install

配置并启动服务

 cd utils/
./install_server.sh #安装服务启动程序，同一台服务器能够有多个启动程序
#redis的运行端口为6379

配置Redis作mysql的缓存服务器

安装所需的软件包:

 yum install  mysql-server nginx-1.8.0-1.el6.ngx.x86_64.rpm php-5.3.3-38.el6.x86_64.rpm php-cli-5.3.3-38.el6.x86_64.rpm php-common-5.3.3-38.el6.x86_64.rpm php-devel-5.3.3-38.el6.x86_64.rpm php-fpm-5.3.3-38.el6.x86_64.rpm php-gd-5.3.3-38.el6.x86_64.rpm php-mbstring-5.3.3-38.el6.x86_64.rpm php-mysql-5.3.3-38.el6.x86_64.rpm php-pdo-5.3.3-38.el6.x86_64.rpm -y

配置php：

vim /etc/php.ini
    date.timezone =Asia/Shanghai
vim /etc/php-fpm.d/www.conf
    user = nginx
    group = nginx
unzip phpredis-master.zip
cd phpredis-master
phpize
./configure
make
make install 
vim /etc/php.d/redis.ini 
    extension=redis.so
/etc/init.d/php-fpm start

配置nginx：

vim /etc/nginx/conf.d/default.conf 
    server {
        listen       80;
        server_name  localhost;


        location / {
            root   /usr/share/nginx/html;
            index  index.php index.html index.htm;
        }
     location ~ \.php$ {
            root           html;
         fastcgi_pass   127.0.0.1:9000;
         fastcgi_index  index.php;
         fastcgi_param  SCRIPT_FILENAME  /usr/share/nginx/html$fastcgi_script_name;
         include        fastcgi_params;
        }
/etc/init.d/nginx start

配置mysql

/etc/init.d/mysqld start
mysql < test.sql #导入用于测试的数据
cat test.sql
    use test;
    CREATE TABLE `test` (`id` int(7) NOT NULL AUTO_INCREMENT, `name` char(8) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    INSERT INTO `test` VALUES (1,'test1'),(2,'test2'),(3,'test3'),(4,'test4'),(5,'test5'),(6,'test6'),(7,'test7'),(8,'test8'),(9,'test9');
mysql> grant all on test.* to redis@localhost identified by 'westos'; #建立用于缓存mysql数据的redis用户
mysql -uredis -pwestos #测试这个用户

建立测试用的php页面：

cat /usr/share/nginx/html/index.php 
<?php
    $redis = new Redis();
    $redis->connect('127.0.0.1',6379) or die ("could net connect redis server");
 # $query = "select * from test limit 9";
    $query = "select * from test";
    for ($key = 1; $key < 10; $key++)
    {
            if (!$redis->get($key))
            {
                    $connect = mysql_connect('127.0.0.1','redis','westos');
                    mysql_select_db(test);
                    $result = mysql_query($query);
                    //若是没有找到$key,就将该查询sql的结果缓存到redis
                    while ($row = mysql_fetch_assoc($result))
                    {
                            $redis->set($row['id'],$row['name']);
                    }
                    $myserver = 'mysql';
                    break;
            }
            else
            {
                    $myserver = "redis";
                    $data[$key] = $redis->get($key);
            }
    }

    echo $myserver;
    echo "<br>";
    for ($key = 1; $key < 10; $key++)
    {
            echo "number is <b><font color=#FF0000>$key</font></b>";

            echo "<br>";

            echo "name is <b><font color=#FF0000>$data[$key]</font></b>";

            echo "<br>";
    }
    ?>

测试结果

Redis对mysql的缓存已经完成，可是当更新了mysql，Redis不会跟着更新，就会出现mysql与redis数据不一致的状况，接下来咱们来处理这种状况：

配置gearman实现数据同步

安装gearman

yum install gearmand-1.1.8-2.el6.x86_64.rpm libgearman-1.1.8-2.el6.x86_64.rpm -y
/etc/init.d/gearmand start#开启gearman它的端口是4730

安装php的gearman模块：

tar zxf gearman-1.1.2.tgz
cd gearman-1.1.2
phpize
yum install -y libgearman-devel-1.1.8-2.el6.x86_64.rpm libevent-doc-1.4.13-4.el6.noarch.rpm libevent-devel-1.4.13-4.el6.x86_64.rpm libevent-headers-1.4.13-4.el6.noarch.rpm #解决依赖性
./configure 
make
make install
vim /etc/php.d/gearman.ini
    extension=gearman.so
/etc/init.d/php-fpm reload

安装lib_mysqludef_json将mysql数据转换为Redis能用的JSON格式

yum install mysql-devel -y
unzip lib_mysqludf_json-master.zip
cd lib_mysqludf_json-master
gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c

将lib_mysqludf_json.so模块拷贝到mysql的插件目录

cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/

注册UDF函数（只用于mysql5.7之前的版本，5.7之后mysql自带JSON格式）

mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';
mysql> select * from mysql.func;#查看函数

安装 gearman-mysql-udf来调用Gearman的分布式队列

tar zxf gearman-mysql-udf-0.6.tar.gz
cd gearman-mysql-udf-0.6
yum install gcc-c++ -y
./configure --libdir=/usr/lib64/mysql/plugin/
make
make install

注册UDF函数:

mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';
 CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';
mysql> select * from mysql.func;#查看函数

mysql> SELECT gman_servers_set('127.0.0.1:4730');#指定gearman的服务信息，若是是远程就填写远程IP

编写mysql触发器：

 mysql <test.sql 
cat test.sql
    use test;
    DELIMITER $$
    CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN
    SET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`)); 
      END$$
    DELIMITER ;

最后配置gearman的worker端并使它一直运行在后端

cat /usr/local/bin/worker.php
    <?php
    $worker = new GearmanWorker();
    $worker->addServer();
    $worker->addFunction('syncToRedis', 'syncToRedis');

    $redis = new Redis();
    $redis->connect('127.0.0.1', 6379);

    while($worker->work());
    function syncToRedis($job)
    {
            global $redis;
            $workString = $job->workload();
            $work = json_decode($workString);
            if(!isset($work->id)){
                    return false;
            }
            $redis->set($work->id, $work->name);
    }
    ?>
nohup php worker.php &

测试：更新mysql数据库能够看到redisye跟着更新了

mysql> use test
mysql> update test set name='hello' where id=1;
[root@server1 bin]# redis-cli 
    127.0.0.1:6379> get 1
    "hello"

刷新页面数据也跟着更新了