阿里云ECS nginx（阿里云LB）+ tomcat8 + Redis 构建tomcat容器集群

时间 2019-11-25

标签阿里 ecs nginx tomcat8 tomcat redis 构建容器集群栏目阿里巴巴繁體版

原文原文链接

阿里云ECS nginx（阿里云LB） + tomcat 8.5 + Redis 3.2 构建tomcat集群php

前提：阿里云ECS 服务器两台 + 阿里云LB (测试使用的nginx upstream模块模拟集群)css

由于公司项目单点提供服务，程序常常会出现死机，响应慢的状况，因此须要咱们作集群来分担以前单点服务器承受的压力。保证咱们的程序测试成功。html

要点：tomcat集群须要作session共享，而tomcat自带的 session replication组件是经过多播（组播）进行通讯，而鉴于docker容器的特性，docker容器是对udp协议的支持奇差，简而言之docker不支持组播，以前公司的有个音视频业务须要用到组播流，我查了好久才发现docker的这个特性，不支持组播。没有办法，把容器中的业务部署在宿主机上得以解决。java

而经过docker搭建的阿里云服务器平台也是具备这一特性，我经过提交工单询问得知。具体截图以下：nginx

tomcat自带的session replication解释：git

阿里云详细说明：github

提交工单得到的解释：web

经过以上，能够看到即使是阿里如此强大的公司也未能避免这个特性，这就宣告使用自带session replication组件已经没戏了。redis

只能开始走tomcat + redis集群部署线路，可是普通redis也是不能直接直接支持tomcat 8+版本的，因此须要咱们使用 redisson 实现共享；docker

部署redis，yum 安装 redis便可，

须要修改redis.conf

* * *
bind 0.0.0.0  #使得两台tomcat都能链接这台redis
* * *
protected-mode no 
* * *
requirepass 123456  #密码

systemctl restart redis便可；

下载两个jar包，放到/tomcat/lib/目录下；

redisson-all-3.11.2.jar

redisson-tomcat-8-3.11.2.jar

修改/tomcat/conf/server.conf

  <GlobalNamingResources>
    <!-- Editable user database that can also be used by
         UserDatabaseRealm to authenticate users
    -->
<Resource name="bean/redisson"
      auth="Container"
              factory="org.redisson.JndiRedissonFactory"
              configPath="${catalina.base}/conf/redisson.conf"
      closeMethod="shutdown"/>
    <Resource name="UserDatabase" auth="Container"
              type="org.apache.catalina.UserDatabase"
              description="User database that can be updated and saved"
              factory="org.apache.catalina.users.MemoryUserDatabaseFactory"
              pathname="conf/tomcat-users.xml" />
  </GlobalNamingResources>

修改/tomcat/conf/context.xml

  <ResourceLink name="bean/redisson"
                  global="bean/redisson"
  type="org.redisson.api.RedissonClient" />
    <Manager className="org.redisson.tomcat.JndiRedissonSessionManager"
         readMode="REDIS"
         jndiName="bean/redisson" />

添加/tomcat/conf/redisson.conf （根据实际状况修改 redis 的 ip，host，password）

{
  "singleServerConfig":{
    "idleConnectionTimeout":10000,
    "connectTimeout":10000,
    "timeout":3000,
    "retryAttempts":3,
    "retryInterval":1500,
    "password":"123456",
    "subscriptionsPerConnection":5,
    "clientName":null,
    "address": "redis://127.0.0.1:6379",
    "subscriptionConnectionMinimumIdleSize":1,
    "subscriptionConnectionPoolSize":50,
    "connectionMinimumIdleSize":24,
    "connectionPoolSize":64,
    "database":0,
    "dnsMonitoringInterval":5000
  },
  "threads":16,
  "nettyThreads":32,
  "codec":{
    "class":"org.redisson.codec.FstCodec"
  },
  "transportMode":"NIO"
}

而后写一个测试session.jsp ，目录为/tomcat/webapps/test/session.jsp , 两个后台的tomcat都须要写这个jsp，并保持ip为实际状况的ip。

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>  
<%  
String path = request.getContextPath();  
String basePath = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";  
%>  
  
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">  
<html>  
  <head>  
    <base href="<%=basePath%>">  
      
    <title>My JSP 'index.jsp' starting page</title>  
    <meta http-equiv="pragma" content="no-cache">  
    <meta http-equiv="cache-control" content="no-cache">  
    <meta http-equiv="expires" content="0">      
    <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">  
    <meta http-equiv="description" content="This is my page">  
    <!-- 
    <link rel="stylesheet" type="text/css" href="styles.css"> 
    -->  
  </head>  
    
  <body>  
              ip: 172.17.0.2<br>
        SessionID2:<%=session.getId()%>  
        <BR>  
        SessionIP:<%=request.getServerName()%>  
        <BR>  
        SessionPort:<%=request.getServerPort()%>  
        <%  
        out.println("This is Tomcat Server 11111");  
        %>  
  </body>  
</html>

本地搭建一个nginx 进行测试;

~]# cat /etc/nginx/conf.d/upstream.conf
upstream api{
server 127.0.0.1:8080;
server 192.168.1.100:8080;
}
server {
listen       80;
server_name abc.test.com;
access_log  /var/log/nginx/upstream.access.log combined;
error_log   /var/log/nginx/upstream.tv.error.log info;  
location / {
index index.php  index.shtml index.html;
proxy_redirect          off;
proxy_pass http://api2; 
proxy_set_header   Host             $host:$server_port; 
proxy_set_header   X-Real-IP        $remote_addr; 
proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for; 
}
}

访问 http://abc.test.com/test.session 而后能够查看ip在边，session不变，从而达到咱们的目的，注意若是链接数据库的话，咱们须要把两个tomcat程序的配置文件修改至同一个数据库。

示例：

参考地址：

地址1，地址2，地址3