Greenplum/Deepgreen（集群/分布式）安装文档

Deepgreen分布式安装文档

环境准备

一、安装VMware虚拟机软件，而后在VMware安装三台Linux虚拟机(使用centos7版本)

二、使用的虚拟机以下：

192.168.136.155  mdw

192.168.136.156  sdw1

192.168.136.157  sdw2

2.1三台虚拟机分别修改主机名为：mdw/sdw1/sdw2

[root@localhost ~]# hostnamectl set-hostname mdw

2.2三台虚拟机分别添加主机名和ip对应关系

[root@sdw1 ~]# vi /etc/hosts

2.3三台虚拟机进行时间同步操做

[root@sdw1 ~]# yum install ntp

[root@sdw1 ~]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

[root@sdw1 ~]# ntpdate pool.ntp.org

[root@sdw1 ~]# systemctl start ntpd

[root@sdw1 ~]# systemctl enable ntpd

2.4三台虚拟机安装工具（可选）

[root@mdw ~]# yum install net-tools –y

[root@mdw ~]# yum install perl

2.5三台虚拟机关闭防火墙

[root@mdw ~]# systemctl stop firewalld

[root@mdw ~]# systemctl disable firewalld

2.6三台虚拟机修改selinux的值为disabled

[root@sdw1 ~]# vi  /etc/selinux/config

2.7三台虚拟机修改关于linux系统推荐配置

[root@mdw ~]# vi  /etc/sysctl.conf

kernel.shmmax = 2000000000

kernel.shmmni = 4096

kernel.shmall = 16000000000

kernel.sem = 1000 2048000 400 8192

xfs_mount_options = rw,noatime,inode64,allocsize=16m

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 1

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_syn_backlog = 4096

net.ipv4.conf.all.arp_filter = 1

net.ipv4.ip_local_port_range = 1025 65535

net.core.netdev_max_backlog = 10000

net.core.rmem_max = 2097152

net.core.wmem_max = 2097152

vm.overcommit_memory = 2

sysctl -p生效

2.8三台虚拟机更改文件限制

[root@mdw ~]# vi /etc/security/limits.conf

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

   * hard nproc 131072

2.9磁盘io调度算法有多种：CFQ，AS，deadline推荐deadline

[root@mdw ~]# grubby --update-kernel=ALL --args="elevator=deadline"

[root@mdw ~]#/sbin/blockdev --getra /dev/sda预读块默认大小为8192
[root@mdw ~]#/sbin/blockdev --setra 16384 /dev/sda设置预读块大小16G

上述完成以后，三台机器均需重启系统，而后再开始进入数据库安装操做

三、数据库安装

3.1数据库文件deepgreendb.16.32.rh6.x86_64.180912.bin下载并上传到mdw主机上

http://vitessedata.com/deepgreen-db      https://www.centos.org/download/

    mdw主机建立gpadmin用户

[root@mdw local]# useradd gpadmin

[root@mdw local]# passwd gpadmin

mdw主机赋权限解压bin文件

[root@mdw local]# chmod u+x ./deepgreendb.16.32.rh6.x86_64.180912.bin

[root@mdw local]# ./deepgreendb.16.32.rh6.x86_64.180912.bin

 

安装后的总体目录以下：

 

为gpadmin赋安装后的总体目录权限

[root@mdw deepgreendb]# chown -R gpadmin:gpadmin /usr/local/deepgreendb（软链接）

[root@mdw deepgreendb]# source /usr/local/deepgreendb/greenplum_path.sh

3.2建立一个文件：hostfile_exkeys

[root@mdw deepgreendb]# vi hostfile_exkeys

mdw

sdw1

sdw2

里面内容与etc/hosts节点的内容同样

3.3创建节点服务器间的信任

[root@mdw deepgreendb]# gpssh-exkeys -f hostfile_exkeys

按照提示输入root密码，记住这一步不能输入gpadmin的密码，由于批量安装时须要在/usr/local下建立目录，须要root权限

3.4批量安装

[root@mdw deepgreendb]# gpseginstall -f hostfile_exkeys -u gpadmin -p 123456

这一步其实就是将master上的greenplum打包经过scp命令传到hostfile_exkeys中的主机上，并赋予目录gpadmin的权限

20181031:11:31:26:011120 gpseginstall:mdw:root-[INFO]:-SUCCESS -- Requested commands completed

3.5检查批量安装状况

[root@mdw deepgreendb]# gpssh -f hostfile_exkeys -e ls -l $GPHOME

返回结果中各节点目录一致则表明批量安装成功

3.6上述步骤完成后，建立Master主数据的存储区域

[root@mdw deepgreendb]# mkdir -p /data/master

[root@mdw deepgreendb]# chown gpadmin:gpadmin /data/master

[root@mdw deepgreendb]# vi hostfile_gpssh_segonly

sdw1

sdw2

只含有segment节点

vi hostfile_gpssh_segonly这步主要是为了使用gpssh工具建立数据目录，单机安装通常手动

3.7建立segment主机上建立主数据和镜像数据目录并赋权限

[root@mdw deepgreendb]# source greenplum_path.sh

[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data1/primary'

[sdw1] mkdir -p /data1/primary

[sdw2] mkdir -p /data1/primary

[root@mdw deepgreendb]#  gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data2/primary'

[sdw1] mkdir -p /data2/primary

[sdw2] mkdir -p /data2/primary

[root@mdw deepgreendb]#  gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data2/mirror'

[sdw1] mkdir -p /data2/mirror

[sdw2] mkdir -p /data2/mirror

[root@mdw deepgreendb]#  gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data1/mirror'

[sdw1] mkdir -p /data1/mirror

[sdw2] mkdir -p /data1/mirror

[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'chown -R gpadmin:gpadmin /data1'

[sdw1] chown -R gpadmin:gpadmin /data1

[sdw2] chown -R gpadmin:gpadmin /data1

[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'chown -R gpadmin:gpadmin /data2'

[sdw1] chown -R gpadmin:gpadmin /data2

[sdw2] chown -R gpadmin:gpadmin /data2

[root@mdw deepgreendb]#

3.8建立gp初始化文件

[root@mdw deepgreendb]# su - gpadmin

[gpadmin@mdw deepgreendb]$ vi hostfile_gpinitsystem

sdw1

sdw2

从安装软件的模板中拷贝一份gpinitsystem_config文件到当前目录：

[gpadmin@mdw deepgreendb]$ cp docs/cli_help/gpconfigs/gpinitsystem_config .

修改gpinitsystem_config设置segment个数

declare -a DATA_DIRECTORY=(/data1/primary  /data2/primary)

[gpadmin@mdw deepgreendb]$ vi ~/.bashrc

source /usr/local/deepgreendb/greenplum_path.sh

export MASTER_DATA_DIRECTORY=/data/master/gpseg-1

export PGPORT=5432

export PGUSER=gpadmin

export PGDATABASE=test

[gpadmin@mdw deepgreendb]$  source ~/.bashrc

完成上述步骤运行初始化工具初始化数据库

[gpadmin@mdw deepgreendb]$ gpinitsystem -c gpinitsystem_config -h hostfile_gpinitsystem -B 8

注释：因为我是36个segement因此并行开的-B 8

 

安装成功，进行操做便可！

[gpadmin@mdw deepgreendb]$ psql -d postgres

psql (8.2.15)

Type "help" for help.

 

postgres=#

也可使用以下初始方式：

[gpadmin@mdw deepgreendb]$ gpinitsystem -c gpinitsystem_config -h hostfile_gpinitsystem -s sdw2 -S

会出错，由于没有足够的主机没法造成spread模式，去掉-S

因为选择sdw2为standby，须要在sdw2节点上建立文件夹

[root@sdw2 primary]# mkdir -p /data/master

[root@sdw2 primary]# chown gpadmin:gpadmin /data/master

 

======================================================================

关于镜像，有2种方式开启Mirror：
1. 在GP数据库安装的时候，开启Mirror设置

 gpinitsystem -c gpinitsystem_config  -h hostfile_segonly -s smdw1 -S

-s 表明standby

-S表明spread模式
2. 在已建好的数据库中，使用命令gpaddmirrors和gpinitstandby来开启Mirror

=======================关于节点分布模式：grouped、spread==============================

1.greenplum的两种节点分布模式

①grouped mirror模式：

(grouped模式，主机的mirror节点所有放在下一个主机上)

 

②spread mirror模式：

(spread模式,主机的第一个mirror在下个主机,第二个mirror在次下个主机,第三mirror在次次下个主机....)

 

2.初始化的mirror模式：

1）初始化为grouped模式

在部署配置gp的过程当中

执行初始化命令：gpinitsystem ，默认的节点分布方式为grouped

[gpadmin@master ~]$gpinitsystem -c gpinitsystem_config -h seg_hosts -s standby

2）在初始化时改成spread模式

在部署配置gp的过程当中

执行初始化命令：gpinitsystem加上–S，节点分布方式为spread

[gpadmin@master ~]$gpinitsystem -c gpinitsystem_config -h seg_hosts -s standby –S

3）主机数量少的状况(没法改设spread)

假设segment主机为两台，节点数为2;执行初始化命令gpinitsystem加上–S是没法造成spread模式，而且会在执行初始化命令以后报错，缘由因为主机个数没有比primary节点数大1。

3.对于两种模式，添加segment主机节点的状况：

(排除自行修改gpexpand_inputfile_xxxxx_xxxx文件的状况,能够自行添加主机或节点)

1）grouped模式

新增的主机数必须大于等于2，确保新增primary和mirror在不一样的机器上。

2）spread模式

新增主机数至少比每台主机上的primary数大1，确保mirror平均分配在其余主机上(参照图例理解)。

4.两种模式的优缺：

①grouped mirror：

    若是其中一台挂掉，那么拥有该主机mirror的机器负载加剧一倍；在segment主机数很是多的状况下，至少容许两台主机挂掉

②spread mirror：

    若是其中一台挂掉，那么拥有该主机mirror的机器负载均衡，没有grouped的压力大；在segment主机数很是多的状况下，只能够挂掉一台主机

（通常状况，greenplum同时死机两台几率很低，死机一台几率较高，建议spread）

==================================================================================

Rebalancing a Table从新平衡一张表

CREATE TABLE sales_temp (LIKE sales) DISTRIBUTED BY (date, total, customer);

INSERT INTO sales_temp SELECT * FROM sales;

DROP sales;

ALTER TABLE sales_temp RENAME TO sales;

============================================================================

https://yq.aliyun.com/articles/177

 该连接是关于如何扩展segment的文档写的很是详细，我的也是根据此连接操做成功的。

扩容回滚

若是在扩容过程当中，报错，需先启动GP master node，而后rollback再启动GP

gpstart -m

gpexpand –r –D dw

gpstart

==============================================================================

linux nmon的安装及使用：该软件能够监控linux系统

参考：https://blog.csdn.net/u010798968/article/details/74932124

1.下载nmon压缩包：

http://nmon.sourceforge.net/pmwiki.php?n=Site.Download

根据系统的发型版本及CPU位数选择相应的压缩包下载，如笔者的系统发行版本为：红帽子7.3.1611，64位：

 

因此选择的版本为：nmon16g_x86.tar.gz，

 

能够下载到本地，再ftp传到linux服务器上，也能够直接在linux服务器上wget 下载连接。

2.下载后解压缩，有适用于不一样linux发行版本的文件，根据自身系统选择不一样文件，这里笔者选择的是nmon16g_x86_rhel72：

 

根据自身需求重命名及赋权，这里笔者重命名为nmon，赋755权限：

 

执行nmon：./nmon，进入nmon实时监控页，按c查看CPU使用信息，按m查看内存使用信息，按n查看网络使用信息，以下图：

更多命令按h查看帮助信息。

 

3.采集系统性能信息，并生成报告

a.执行./nmon -s3 -c60 -f -m ./report，-s3为每3s收集一次性能信息，-c60为收集60次，-f为生成的文件名包含该文件建立时间，-m ./report为指定测试报告存储路径，以下图：

执行完收集信息的命令后，生成了以hostname+建立年月+建立时间的文件，而且能够看到有个nmon的后台进程，即为收集服务器性能信息的进程，直到60次收集执行完以后，该进程才会结束。

 

b.下载 nmon analyser分析工具，该工具能够将上面生成的.nmon文件转化为图表，更为直观。

下载地址：https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power%20Systems/page/nmon_analyser

下载完解压能够看到有两个文件：

 

打开  nmon analyser v51_2.xlsm文件：

 

将linux服务器上的报告.nmon文件down下来，点击上图中的Analyze nmon data按钮，选择刚刚down下来的文件，生成可视化图表，以下图：

 

另外，若是有同窗点击Analyze nmon data按钮后弹出“宏不可用”的提示，Excel可自行百度如何开启宏，wps我的版则须要下载一个插件，笔者放到了网盘里面：

http://pan.baidu.com/s/1o8iFk6m，可自行下载，下载以后解压，双击vba6chs.msi安装便可，安装好以后重启wps，便可正常使用宏，并生成可视化图表。