虚拟机-搭建3主3从redis集群

搭建3主3从的redis cluster:基于redis分布式锁。

1.redis包上传

将redis-4.0.1.tar.gz包上传到一台机器上去，/usr/local目录下，解压缩，重命名为redis

scp ./redis-4.0.1.tar.gz ./ruby-2.3.4.tar.gz root@192.168.1.8:/usr/local/

tar -zxvf redis-4.0.1.tar.gz //解压redis  
mv redis-4.0.1 redis //将解压后的redis文件命名为redis

2.安装redis依赖

yum install -y tcl gcc zlib-devel openssl-devel

以上安装了tcl、gcc、zlib-devel 、openssl-devel

3.编译redis

进入redis录内，执行make MALLOC=libc命令

make MALLOC=libc

4.把redis的一些命令脚本拷贝到PATH变量所在的目录

cp -a src/redis-server src/redis-cli src/redis-sentinel src/redis-trib.rb src/redis-check-aof src/redis-check-rdb src/redis-benchmark /usr/local/bin/

那个/usr/local/bin，就是PATH变量的目录，这样就能够直接执行redis的一些命令了

五、建立redis集群的目录

cd /opt
mkdir redis-cluster
mkdir redis-cluster/nodes-{7001,7002,7003} //在redis-cluster下面建立:nodes-700一、nodes-700二、nodes-7003的3个目录

六、修改配置文件

编辑redis.conf配置文件（以7001来举个例子，将7002和7003都编辑一下配置文件）

cd redis-cluster/nodes-7001
vi redis.conf

修改配置文件内容以下：

bind 127.0.0.1 192.168.9.216 //(注意：bind的意思不是绑定外部服务器的IP，而是绑定本机能够接受访问的IP)
port 7001 
pidfile redis_7001.pid 
loglevel notice
logfile "/opt/redis-cluster/nodes-7001/redis_7001.log" //日志文件存放目录  
dir /opt/redis-cluster/nodes-7001/    //节点主目录存放位置  
cluster-config-file nodes-7001.conf   //集群配置文件  
daemonize yes  //后台进程
supervised no  //
appendonly yes
cluster-enabled yes  //集群模式开启
cluster-node-timeout 15000    //集群节点之间超时时间是15秒
save 900 1  //
save 300 10
save 60 10000
dbfilename dump.rdb
appendfilename "appendonly.aof"
appendfsync everysec

上面7001配置作完以后，将7001的上面配置拷贝到700二、7003目录下；而后修改对应配置的个性化配置路径便可。port、pidfile、logfile、dir、cluster-config-file。

7.另外一台机器设置

在另一台机器上，重复上面的步骤，可是弄成700一、700二、7003

八、依次启动各个redis实例

两台机器上都依次执行下面的命令就能够了：

cd /usr/local/redis/src
./redis-server /opt/redis-cluster/nodes-7001/redis.conf //以配置文件形式启动redis服务.
./redis-server /opt/redis-cluster/nodes-7002/redis.conf
./redis-server /opt/redis-cluster/nodes-7003/redis.conf

这个时候看nodes-7001里面，会自动生成一些文件，包括nodes-7001.conf（自动生成的集群配置文件），appendonly.aof，redis_7001.log，redis_7001.pid
查看启动进程

ps -ef | grep redis

9.安装ruby

咱们的这个centos 7操做系统默认没带ruby
将ruby-2.3.4.tar.gz上传到/usr/local下，解压缩，重命名为ruby

cd ruby
./configure
make && make install
ruby -v

按照上面的步骤，两台机器都装一下ruby

10.安装ruby-redis.gem

（若是以前没装过下面的依赖，那么：首先安装：yum install -y zlib-devel openssl-devel）

咱们安装ruby-redis.gem是去对应redis下去安装。

在/usr/local/redis下，gem install redis

若是报错：

ERROR: Loading command: install (LoadError)
cannot load such file -- zlib
ERROR: While executing gem ... (NoMethodError)
undefined method `invoke_with_build_args' for nil:NilClass

其次安装：ruby的相关东西
cd /usr/local/ruby/ext/zlib
ruby extconf.rb
make && make install

再次gem install redis，若是再次报错：

ERROR: While executing gem ... (Gem::Exception)
Unable to require openssl, install OpenSSL and rebuild ruby (preferred) or use non-HTTPS sources

cd /usr/local/ruby/ext/openssl
ruby extconf.rb
将上个步骤生成的MakeFile文件中的${top_srcdir}都替换为../..
make && make install

基本就是上面两个问题，都解决了以后，就能够正常的：gem install redis

11.建立redis cluster集群

进入redis/src下面：执行以下命令。

./redis-trib.rb create --replicas 1 192.168.1.8:7001 192.168.1.8:7002 192.168.1.8:7003 192.168.1.9:7001 192.168.1.9:7002 192.168.1.9:7003

跟上全部的redis实例，一共是6个

redis cluster自动会将6个redis实例作成3主3从的

此时显示一直在等待，实际上是由于redis.conf中的bind出了问题，不能bind 127.0.0.1

在两台机器上，都执行：ps -aux | grep redis，看到3个redis进程
kill -9 杀死全部的redis进程

对/opt/redis-cluster目录下的nodes-几个文件夹内的文件，都删除，保留一个redis.conf*

而后修改6个redis实例的redis.conf，bind里面都去掉127.0.0.1
重启启动6个redis实例

再次执行redis-trib.rb create --replicas 1命令

12.redis cluster设置密码

在/opt/redis-cluster/nodes-7001/redis.conf各个目录下设置密码：

masterauth founder123
requirepass founder123

经过指令找到安装的redis在ruby环境中的配置client.rb

find / -name "client.rb"

打开client.rb并按照图示修改第二步所设置的密码

运行集群的指令

13.测试redis cluster

在/usr/local/redis/src目录下：

redis-cli -c -h 192.168.1.8 -p 7001
127.0.0.1:7001> CLUSTER info
127.0.0.1:7001> CLUSTER nodes
127.0.0.1:7001> set foo bar
127.0.0.1:7003> get foo

问题

在执行建立集群节点时候，会出现报错状况；解决方案以下：

错误提示是说：slot插槽被占用了、这是由于 搭建集群前时，之前redis的旧数据和配置信息没有清理干净。
解决方案：用redis-cli 登陆到每一个节点执行 flushall 和 cluster reset 就能够了。

最后从新建立集群

redis互联网访问配置

由于我想在本地测试，因此须要外网访问redis集群

此处为止注意点
1 redis 配置文件中 把bind取消，而后把保护模式关闭

#bind 内网ip 127.0.0.1
protected-mode no
cluster-node-timeout 5000 
cluster-announce-ip 112.65.xx.xxx //外网ip 
cluster-announce-port ${PORT} //外网访问端口
cluster-announce-bus-port 1${PORT}  //外网数据传输端口

2 建立集群的时候用外网ip
redis-cli --cluster create 外网Ip:7001 外网Ip:7002 外网Ip:7003 外网Ip:7004 外网Ip:7005

三、特别注意：
上面除了须要在linux的redis集群机器上开通7001-7006端口外，还须要开通17001-17006端口。以前一直搭建失败是由于：内网配置集群时候17001-17006端口没有开放。

注意单机版问题

Can I set the above configuration? (type 'yes' to accept): yes

/usr/lib64/ruby/gems/1.8/gems/redis-3.0.7/lib/redis/client.rb:97:in `call': ERR Slot 16011 is already busy (Redis::CommandError)

        from /usr/lib64/ruby/gems/1.8/gems/redis-3.0.7/lib/redis.rb:2432:in `method_missing'

        from /usr/lib64/ruby/gems/1.8/gems/redis-3.0.7/lib/redis.rb:37:in `synchronize'

        from /usr/lib/ruby/1.8/monitor.rb:242:in `mon_synchronize'

        from /usr/lib64/ruby/gems/1.8/gems/redis-3.0.7/lib/redis.rb:37:in `synchronize'

        from /usr/lib64/ruby/gems/1.8/gems/redis-3.0.7/lib/redis.rb:2431:in `method_missing'

        from ./redis-trib.rb:203:in `flush_node_config'

        from ./redis-trib.rb:629:in `flush_nodes_config'

        from ./redis-trib.rb:628:in `each'

        from ./redis-trib.rb:628:in `flush_nodes_config'

        from ./redis-trib.rb:964:in `create_cluster_cmd'

        from ./redis-trib.rb:1340:in `send'

        from ./redis-trib.rb:1340

问题在于在进行单机版的redis搭建中，节点conf文件名字同样形成的，只要把节点文件改为不一样名字，而且要从新启动各个redis，以后就能成功
若是仍是不行 参考:
https://www.cnblogs.com/zt007...

参考

https://www.jianshu.com/p/813...
http://www.redis.cn/commands/...
https://blog.csdn.net/hanguof...