RHCS 集群安装部署

一 集群：

1 集群：

是指一组相互独立的计算机，利用高速通讯网络组成的一个较大的计算机服务系统，每一个集群节点都是运行各自服务的独立服务器，这些服务器之间能够彼此通讯，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。

2 集群优势：

1 高性能
2 价格有效性
3 可伸缩性
4 高可用
5 透明性
6 可管理
7 可编程

3 RHCS 集群组成

1 集群架构管理器
这是RHCS 集群的一个基础套件，提供您一个集群的基本功能，使各个节点组成的集群在一块儿工做，具体包含分布式集群管理器（CMAN），成员关系管理、锁管理（DLM）配置文件管理（CCS）、栅设备（FENCE）
2 高可用服务管理器
提供节点服务监控和服务故障转移，当一个节点服务出现故障时，将服务转移到另外一个健康的节点上。
3 集群配置管理工具
经过LUCI 来管理和配置RHCS集群，LUCI是一个基于web的集群配置方式，经过luci能够轻松的搭建一个功能强大的集群系统，节点主机可使用ricci来和luci 管理段进行通讯
4 Linuxvirtualserver
LVS 是一个开源的负载均衡软件，利用LVS 能够将客户端的请求根据指定的负载策略和算法合理分配到各个节点，实现动态、智能的负载分担。
5 RedhatGS（globalfilesystem）
GFS 是Redhat公司开发的一款集群文件系统，目前最新的版本是GFS2，GFS文件系统容许多个服务同时读写一个磁盘分区，经过GFS能够实现数据的集中管理，免去了数据同步和拷贝的麻烦，但GFS不能独立存在，须要RHCS的底层组件支持
6 clusterlogicalvolumemanger
CLuster 逻辑卷管理，及CLVM，是LVM的扩展，这种容许cluster 中的机器使用LVM来管理共享存储
7 ISCSI
是一种在Internet协议上，特别是以太网上进行数据传输的标准，他是一种基于IPstorage理论的新型存储技术，RHCS能够经过ISCSI技术来导出和分配共享存储的使用。

4 RHCS集群运行原理及功能介绍

1 分布式集群管理器（CMAN）

它运行在各个节点上，为RHCS提供集群管理任务
CMAN 用于管理集群成员、消息和通知。他经过监控每一个节点的运行状态来了解节点成员之间的关系，当节点出现故障时，CMAN及时将这种改变通知底层，进而作出相应的调整

2 锁管理（DLM）

表示一个分布式锁管理器，他是RHCS的一个底层基础构建，同时也为集群提供了一个公用的锁运行机制，在RHCS中，DLM运行在集群的每一个节点上，GFS经过锁管理机制来同步访问数据系统元数据，CLVM经过锁管理其来同步更新数据到LVM卷和逻辑卷， DLM 不须要设定锁骨哪里服务器，它采用对等的锁管理方式，大大提升了处理性能，同时,DLM避免了当单个节点失败须要总体恢复的性能瓶颈，另外，DLM的请求都是本地的，不须要网络请求，于是请求会当即生效，最后，DLM经过分层机制，能够实现多个锁空间的并行管理模式

3 配置文件管理（CCS）

　　ClusterConfigurationSystem，简称CCS，主要用于集群配置文件管理和配置文件在节点之间的同步。有时候，luci管理界面可能因为网络等方面的以素并非那么畅快，CCS就显得很必要了。CCS运行在集群的每一个节点上，监控每一个集群节点上的单一配置文件/etc/cluster/cluster.conf的状态，当这个文件发生任何变化时，
都将此变化更新到集群中的每一个节点，时刻保持每一个节点的配置文件同步。例如，管理员在节点A上更新了集群配置文件，CCS发现A节点的配置文件发生变化后，立刻将此变化传播到其它节点上去。rhcs的配置文件是cluster.conf，它是一个xml文件，具体包含集群名称、集群节点信息、集群资源和服务信息、fence设备等

四、栅设备（FENCE）

FENCE设备是RHCS集群中必不可少的一个组成部分，经过FENCE设备能够避免因出现不可预知的状况而形成的“脑裂”现象，FENCE设备的出现，就是为了解决相似这些问题，Fence设备主要就是经过服务器或存储自己的硬件管理接口，或者外部电源管理设备，来对服务器或存储直接发出硬件管理指令，将服务器重启或关机，或者与网络断开链接。
FENCE的工做原理是：当意外缘由致使主机异常或者宕机时，备机会首先调用FENCE设备，而后经过FENCE设备将异常主机重启或者从网络隔离，当FENCE操做成功执行后，返回信息给备机，备机在接到FENCE成功的信息后，开始接管主机的服务和资源。这样经过FENCE设备，将异常节点占据的资源进行了释放，保证了资源和服务始终运行在一个节点上。
RHCS的FENCE设备能够分为两种：内部FENCE和外部FENCE，经常使用的内部FENCE有IBMRSAII卡，HP的iLO卡，还有IPMI的设备等，外部fence设备有UPS、SANSWITCH、NETWORKSWITCH等

五、高可用服务管理器（rgmanager）

高可用性服务管理主要用来监督、启动和中止集群的应用、服务和资源。
它提供了一种对集群服务的管理能力，当一个节点的服务失败时，
高可用性集群服务管理进程能够将服务从这个失败节点转移到其它健康节点上来，而且这种服务转移能力是自动、透明的。
RHCS经过rgmanager来管理集群服务，rgmanager运行在每一个集群节点上，在服务器上对应的进程为clurgmgrd。
在一个RHCS集群中，高可用性服务包含集群服务和集群资源两个方面，集群服务其实就是应用服务，例如apache、mysql等，集群资源有不少种，例如一个IP地址、一个运行脚本、ext3/GFS文件系统等。
在RHCS集群中，高可用性服务是和一个失败转移域结合在一块儿的，所谓失败转移域是一个运行特定服务的集群节点的集合。在失败转移域中，能够给每一个节点设置相应的优先级，经过优先级的高低来决定节点失败时服务转移的前后顺序，若是没有给节点指定优先级，那么集群高可用服务将在任意节点间转移。所以，经过建立失败转移域不但能够设定服务在节点间转移的顺序，并且能够限制某个服务仅在失
败转移域指定的节点内进行切换。　　

六、集群配置管理工具（luci和ricci）

Conga是一种新的基于网络的集群配置工具，Conga是经过web方式来配置和管理集群节点的。Conga有两部分组成，分别是luci和ricci，luci安装在一台独立的计算机上，用于配置和管理集群，ricci安装在每一个集群节点上，Luci经过ricci和集群中的每一个节点进行通讯。　　
RHCS也提供了一些功能强大的集群命令行管理工具，经常使用的有clustat、cman_tool、ccs_tool、fence_tool、clusvcadm等，这些命令的用法将在下面讲述。　　

七、RedhatGFS

GFS是RHCS为集群系统提供的一个存储解决方案，它容许集群多个节点在块级别上共享存储，每一个节点经过共享一个存储空间，保证了访问数据的一致性，更切实的说，GFS是RHCS提供的一个集群文件系统，多个节点同时挂载一个文件系统分区，而文件系统数据不受破坏，这是单一的文件系统不能实现的。
为了实现多个节点对于一个文件系统同时读写操做，GFS使用锁管理器来管理I/O操做，当一个写进程操做一个文件时，这个文件就被锁定，此时不容许其它进程进行读写操做直到这个写进程正常完成才释放锁，有当锁被释放后，其它读写进程才能对这个文件进行操做，另外，当一个节点在GFS文件系统上修改数据后，这种修改操做会经过RHCS底层通讯机制当即在其它节点上可见。　　
在搭建RHCS集群时，GFS通常做为共享存储，运行在每一个节点上，而且能够经过RHCS管理工具对GFS进行配置和管理。这些须要说明的是RHCS和GFS之间的关系，通常初学者很容易混淆这个概念：运行RHCS，GFS不是必须的，只有在须要共享存储时，才须要GFS支持，而搭建GFS集群文件系统，必需要有RHCS的底层支持，因此安装GFS文件系统的节点，必须安装RHCS组件。

二 实验环境：

两台NGINX服务器负责前端调度，集群服务器被搭建在前面两态服务器上
两台HTTPd服务器负责提供web界面

1 基本环境说明：

设备名称	功能描述	设备IP地址
server1	nginx 负载均衡器 RHCS集群子节点	192.168.122.149
server4	NGINX负载均衡器 RHCS集群子节点	192.168.122.58
server2	web 服务	192.168.122.177
server3	web 服务	192.168.122.85

2 NGINX 环境准备

1 安装软件

1 下载并解压软件

2 去除修改gcc产生的文件，以减小NGINX的文件大小

、

3 去除NGINX版本号，以防止**

4 指定其安装位置及安装的模块

5 编译并安装

6 查看文件大小

7 建立链接文件

8 启动及查看

9 其默认发布目录位置

10 备份主配置文件

2 基本优化

通常优化项：

1 优化NGINX运行用户，其默认使用nobody

建立nginx 用户和组

修改配置

重启服务

查看其启动状况：

2 优化进程数

默认的NGINX多个进程有可能跑在一个CPU上，致使NGINX进程使用硬件的资源不均，所以须要针对一个CPU配置一个进程

3 配置最大连接数

Woker_connections 的值要根据具体服务器性能和程序的内存使用量来指定（一个进程启动使用的是内存根据程序肯定），以下Events 核定NGINX的工做模式以及连接数上限。
服务端修改：

配置文件修改


查看

3 配置负载均衡

1 查看后端服务IP地址

2 修改配置文件

此处的IP应该对应后面集群的VIP地址：

3 重启服务：

server 1 配置文件复制到server4 中；



建立软链接，以便于启动服务：

修改配置和server1 相同：





配置地址解析并测试：

三 ：集群软件安装

1 集群管理软件ricci 和 luci 的安装与启动

1 ricci 安装

2 设置管理软件的密码

3 启动节点管理工具

4 设置开机自启动

5 安装配置管理工具luci

6 启动服务并配置开机自启动

四 集群节点的添加

1 使用web界面进行登陆，并添加其信任，

其用户名和密码分别是root和节点server1 root对应的密码，

2 建立集群节点资源

并添加节点，其名称是对应的uname -n 对应的主机名，密码是在ricci 安装完成后设置的密码


集群节点建立中：

集群节点建立完成：

3 查看集群节点状态 clustat

四 向集群中添加NGINX服务：

1 建立NGINX启动脚本：

2 添加执行权限并进行测试：

3 将其发送到另外一个节点上并进行测试：

4 添加nginx服务资源

1 添加服务资源名并配置相关优先级：

5 添加虚拟VIP地址并配置子网掩码。

6 添加NGINX启动脚本：

7 添加组，将其上面的VIP和NGINX绑定到同一个组中，使用VIP来当作NGINX 监听的IP地址，及客户端访问使用的IP地址。

添加成功：

8 进行测试：

五 集群重启以后使服务运行步骤

六 fence 安装

1 在真机上安装而不是在调度器或后端server 上

2 生成密钥：

此处的网络接口必须与server1和server4在同一个网段的端口，负责不能起到防止脑裂的做用，由于若是不在同一个网段，网络则不通、

3 发送器密钥到集群节点上，使其与监控端的通讯使用密文传输。

4 添加fence 资源：

选择使用组播方式进行数据传输，由于上述在生成密文的时候默认是使用组播的方式传输信息的。

5 添加个服务的子资源

6 经过UUID的方式绑定资源，其UUID是不可变的，所以使用UUID最为合适，

7 测试结果，看其在一个节点忽然down机后是否可以当即从新启动

7 添加共享磁盘资源运行mysql服务：

1 服务端server2 分配磁盘资源

2 查看资源是否添加成功：

3 服务端安装scsi 软件，并配置其标识符：

yum -y install   scsi*

4 客户端安装iscsi 软件以共享磁盘资源

5 发现服务端资源并查看：

6 磁盘分区，

注意此时的磁盘只须要进行一次分区便可，由于其是同一块磁盘：

7 磁盘格式化

8 挂载

9 查看：

10 卸载：

11 安装mysql服务并将其挂载到共享磁盘上：

1 安装mysql

两边都安装服务单只须要一边启动服务，由于经过启动服务获取的配置文件将被移动到共享资源中，两边的服务的目录都将挂载共享资源，及启动配置文件：

2 将启动文件复制到共享资源/dev/sda1中

必须-rp -r表示复制目录-p 表示复制权限。

3 授予目录mysql 用户和用户组的权限，不然mysql用户将不能访问此共享目录

4 启动mysql服务并测试，开启看其是否成功，测试完成后需关闭，由于不一样节点的mysql服务不能同时读取同一个mysql配置文件。

5 另外一节点挂载并启动服务，然后关闭服务并卸载，由于集群在启动服务时会自动挂载，所以若是此时挂载可能会出现错误：

12 将共享mysql磁盘写入到集群中：

1 添加模块

2 添加虚拟VIP，

可使用上述的VIP，也能够分开，建议分开使用。

3 添加挂载文件，

其格式是ext4 文件系统，由于上述格式化时使用的是ext4文件系统

4 添加mysql启动脚本。

5 添加组名并设置优先级：优先级高的服务将默认在其上面运行。

添加组，将VIP 、磁盘挂载、脚本启动进行绑定，其顺序不能混杂，由于其顺序是启动的顺序。

6 建立成功并启动成功：

7 mysql进行启动测试：

8 设置远程连接权限

9 进行远程连接，其IP地址是第二次添加的VIP地址。

13 测试

1 关闭server4 端mysql

此时server1端mysql服务启动

2 进行远程登陆测试

3 查看集群状态

8 配置LVS针对mysql共享的拉伸

1 建立LVM

1 关闭原有服务

2 iscsi 共享服务缺点

其不能完成并发的数据库服务访问及两边的读写不一样步：

3 关闭原有的服务：

4 挂载共享服务并将mysql的配置文件和数据进行备份：

5 移除对磁盘的挂载，采用本地挂载的方式进行磁盘的挂载操做

6 使用LVM进行对磁盘的操做，此处的锁类型必须是3，不然会报错。数据将不能经过锁机制进行通讯。

7 此时的文件系统格式是8e，不能是默认格式，使用t 进行修改为8e

8 进行查看其划分的磁盘空间为4GB

9 必须在server4 端看到相应的修改，不然不能进行下一步。如下相同。

10 建立逻辑卷：

11 格式化磁盘，其盘名必须有集群的名称。

12 挂载并验证其同步性

2 扩展LVM

1 建立分区，此时的文件系统类型也应该是8e

2 另外一个节点上必须看到相同变化，不然不能进行下一步。

3 拉伸磁盘容量：

4 设置开机自动挂载：两个节点都要设置：

5 将备份的数据库启动数据放入共享目录中，以便均可以进行读取

6 启动mysql数据库并进行查看：

7 远程登陆数据库：

8 节点的关闭与启动

9 集群的删除：

1 关闭集群资源

2 分离集群节点

节点上进行查看：

3 关闭集群节点上的自启动服务。

4 删除集群两边的配置文件

5 关闭开机自动挂载：

6 查看是否卸载

7 关闭集群设备