RAC----real application cluster
10g----clusterware
11g----包含在grid软件中
集群支持的文件系统:
集权文件系统
ocfs
asm
html
数据库服务器没有办法知足需求:----经过rac进行集中管理
内存不够
cpu不够
硬盘不够
内网/私网---集群中节点与节点之间的网络链接,网络传输数率要求很高
须要网络交换机
全局SGA,管理每一个SGA的信息,全局SGA由集群管理放在共享存储里
应用程序---外网(须要网卡)---链接数据库--通常给DBA用,有几个节点就须要几个IP地址
应用程序/用户使用(须要网卡)---虚拟网络/vip----若是有一个用户用外网联机到数据库,有一个节点失效了,咱们就应用咱们的集群软件虚拟出来的网络,进行咱们实例的切换
须要配置tnsnames.ora,将节点信息写入到文件中
11g中 scan--简单客户端网络:简化用户在tnsnames的配置,scan中一共有3个地址,不是真实的网络。配置的时候主机名默认为racscan。使用racscan须要配置DNS服务器。
全部实例都访问一个数据库--多个实例向一个数据库写数据--数据库放到共享存储/共享文件系统中(orfs/acfs)
实例访问存储的网---须要存储网络,经过交换机,不能直连,作成主备保证时时均可访问,数据文件,控制文件,日志文件,归档日志,备份能够放到共享存储中,其余信息不支持存放
至少须要三张网卡:
应用程序
|
实例 -------实例
| |node
共享存储 |
---|
数据库 |
记录节点除了问题,或者有新的节点加入到集群中,放到共享存储中
vtd:磁盘仲裁----节点失效了,失效节点的信息分配给其余节点
ocr:集群注册机--- 节点与节点间的信息写入到ocr ,若是节点失效,咱们须要在ocr中剔除节点信息,等到节点恢复咱们又加入ocr中
集群的搭建:
1.三张网卡
配置/etc/hosts,将全部网络写入进去,外网,私网,
外网 92.10.10.11 rac.com.cn rac
私网 rac-vip.com.cn
rac-priv.com.cn
scan racscn.com.cn
2.配置DNS服务器
3.配置时间同步
只在一个节点安装rac,其余节点加入就能够
4.ssh等效性
5.搭建共享存储,openfire
6.安装咱们的软件,能够不用检查硬件和软件
安装集群软件
7.安装数据库软件
8.安装集群数据库
openfiler初始化:
/etc/init.d/iptables stop
chkconfig iptables off
vim /etc/init.d/iscsi-target //注释掉全部含有iptables的句子
重启系统sql
openfiler 配置:数据库
https://62.10.10.10:446/ 用户名:openfiler 密码:passwordvim
在system 下添加进去两个节点服务器
2.• Volumes --->Volume Groups--->建好咱们的vg组,名字叫racvg,将咱们添加的5块磁盘都添加进vg组里面 ---->Add Volume(增长咱们的卷组,分为四个组 ocr,vtd,fra,db )网络
--->iSCSI Targets (增长一个iSCSI Targets组,而后和咱们的磁盘进行映射)oracle
3. Services (把iSCSI Target服务起起来)app
4.在 Volumes作好以下分组ssh
一.安装系统及openfiler网络存储系统
二. RACA install package
yum install oracle-rdbms*
yum install bind*
yum install xinte
:td*
yum install iscsi-initiator*
RACB:
yum install oracle-rdbms*
yum install iscsi-initiator*
三. RACA,RACB上编写/etc/hosts
92.10.10.20 raca.com.cn raca
92.10.10.21 racb.com.cn racb
92.10.10.100 raca-vip.com.cn raca-vip
92.10.10.101 racb-vip.com.cn racb-vip
12.10.10.20 raca-priv.com.cn raca-priv
12.10.10.21 racb-priv.com.cn racb-priv
92.10.10.200 racscan.com.cn racscan
92.10.10.201 racscan.com.cn racscan
92.10.10.202 racscan.com.cn racscan
四.在raca节点上配置dns服务器
cd /var/named/chroot/etc/
cp /etc/named* ./ -r
vi named.conf
listen-on port 53 { any; };
allow-query { any; };
vi named.rfc1912.zones
zone "com.cn" IN {
type master;
file "com.zone";
allow-update { none; };
};
zone "10.10.92.in-addr.arpa" IN {
type master;
file "92.zone";
allow-update { none; };
};
zone "10.10.12.in-addr.arpa" IN {
type master;
file "12.zone";
allow-update { none; };
cd /var/named/chroot/var/named
cp /usr/share/doc/bind-9.8.2/sample/var/named/* ./
cp named.localhost com.zone
cp named.loopback 92.zone
cp named.loopback 12.zone
vi com.zone
$TTL 1D
@ IN SOA @ rname.invalid. (
0 ; serial
1D ; refresh
1H ; retry
1W ; expire
3H ) ; minimum
NS @
A 127.0.0.1
AAAA ::1
raca A 92.10.10.20
racb A 92.10.10.21
raca-vip A 92.10.10.100
racb-vip A 92.10.10.101
raca-priv A 12.10.10.20
racb-priv A 12.10.10.21
racscan A 92.10.10.200
racscan A 92.10.10.201
racscan A 92.10.10.202
vi 92.zone
$TTL 1D
@ IN SOA @ rname.invalid. (
0 ; serial
1D ; refresh
1H ; retry
1W ; expire
3H ) ; minimum
NS @
A 127.0.0.1
AAAA ::1
PTR localhost.
20 PTR raca.com.cn.
21 PTR racb.com.cn.
100 PTR raca-vip.com.cn.
101 PTR racb-vip.com.cn.
200 PTR racscan.com.cn.
201 PTR racscan.com.cn.
202 PTR racscan.com.cn.
vi 12.zone
$TTL 1D
@ IN SOA @ rname.invalid. (
0 ; serial
1D ; refresh
1H ; retry
1W ; expire
3H ) ; minimum
NS @
A 127.0.0.1
AAAA ::1
PTR localhost.
20 PTR raca-priv.com.cn.
21 PTR racb-priv.com.cn.
chown -R named.named /var/named/chroot/etc
chown -R named.named /var/named/chroot/var/named
执行完成启动dns服务。并在raca,racb上添加dns服务器的ip地址及域名
验证正反向解析是否成功
五.在raca配置时间同步服务 xinted
cd /etc/xinted.d/
vi time-dgram time-stream
将上面两个文件中的disable=yes改为 disable=no
/etc/init.d/xinted start
在raca执行: rdate -s raca
在racb执行: rdate -s raca
六.在raca识别存储中的磁盘。固定磁盘为ASM绞盘,编辑规则文件
iscsiadm -m discovery -t st -p 62.10.10.50 ---识别LUN
iscsiadm -m node -L all--将LUN中的磁盘加载到节点
fdisk -l ---查看加载的磁盘并分区
scsi_id -u -g -d /dev/sdb1
cd /etc/udev/rules.d/
cp 99-fuse.rules 99-asm.rules
vi 99-asm.rules
KERNEL=="sd?1",BUS=="scsi",PROGRAM=="/sbin/scsi_id -u -g -d /dev/$parent",RESULT=="14f504e46494c45527063596b484b2d337466672d5843547a",NAME="asmocr", MODE="0640",OWNER="oracle",GROUP="dba"
KERNEL=="sd?1",BUS=="scsi",PROGRAM=="/sbin/scsi_id -u -g -d /dev/$parent",RESULT=="14f504e46494c455233664673566a2d554170342d6e595874",NAME="asmvtd", MODE="0640",OWNER="oracle",GROUP="dba"
KERNEL=="sd?1",BUS=="scsi",PROGRAM=="/sbin/scsi_id -u -g -d /dev/$parent",RESULT=="14f504e46494c4552455939746c492d43787a332d67695966",NAME="asmfra", MODE="0640",OWNER="oracle",GROUP="dba"
KERNEL=="sd?1",BUS=="scsi",PROGRAM=="/sbin/scsi_id -u -g -d /dev/$parent",RESULT=="14f504e46494c45526b70426846322d364b43432d727a4f4b",NAME="asmdb", MODE="0640",OWNER="oracle",GROUP="dba"
start_udev
ll /dev/asm* ----查看固定的磁盘
在racb节点固定磁盘,编辑规则文件
cd /etc/udev/rules.d/
cp 99-fuse.rules 99-asm.rules
vi 99-asm.rules
KERNEL=="sd?1",BUS=="scsi",PROGRAM=="/sbin/scsi_id -u -g -d /dev/$parent",RESULT=="14f504e46494c45527063596b484b2d337466672d5843547a",NAME="asmocr", MODE="0640",OWNER="oracle",GROUP="dba"
KERNEL=="sd?1",BUS=="scsi",PROGRAM=="/sbin/scsi_id -u -g -d /dev/$parent",RESULT=="14f504e46494c455233664673566a2d554170342d6e595874",NAME="asmvtd", MODE="0640",OWNER="oracle",GROUP="dba"
KERNEL=="sd?1",BUS=="scsi",PROGRAM=="/sbin/scsi_id -u -g -d /dev/$parent",RESULT=="14f504e46494c4552455939746c492d43787a332d67695966",NAME="asmfra", MODE="0640",OWNER="oracle",GROUP="dba"
KERNEL=="sd?1",BUS=="scsi",PROGRAM=="/sbin/scsi_id -u -g -d /dev/$parent",RESULT=="14f504e46494c45526b70426846322d364b43432d727a4f4b",NAME="asmdb", MODE="0640",OWNER="oracle",GROUP="dba"
start_udev
ll /dev/asm* ----查看固定的磁盘
七.在raca,racb配置ssh等效性
su - oracle
ssh-keygen
ssh-copy-id .ssh/id_rsa.pub raca
ssh-copy-id .ssh/id_rsa.pub racb
ssh raca;ssh racb
ssh raca.com.cn ssh racb.com.cn
ssh raca-priv ssh racb-priv
ssh raca-priv.com.cn ssh racb-priv.com.cn
八.准备安装介质及在RACA,RACB建立软件目录
九.在RACA节点执行安装操做
安装grid
安装database
. .grid 下asmca 给此
dbca建库
next 发现提示监听没有起来,咱们就能够在两个节点raca和racb上重建咱们的监听,用netca ,先要运行。grid 环境变量
集群启动
sqlplus
startup
shutdown immediate
srvctl start database -d updb
srcvtl stop database -d updb
grid-----
crs-start ora.updb.db
crs-stop ora.updb.db
rac启动实例(数据库)
每个节点都要启动
法一:
raca--racb //登陆到每个节点进行启动
sqlplus / as sysdba
startup
法二:
srvctl
srvctl start database -d updb -n raca //启动raca节点---数据库没有启动
srvctl start database -d updb -n racb //启动racb节点
srvctl start database -d updb -n raca,racb //在全部节点上启动数据库updb
srvctl start instance -i updb2 -d updb //在哪一个节点启动实例--数据库已经启动
srvctl status instance -i updb2 -d updb //查看实例的运行状态
srvctl stop instance -i updb2 -d updb //关闭实例启动
srvctl status databse -d updb //查看咱们的数据库运行在哪两个节点上
法三:
在..grid环境变量下
crs_start ors.updb.db
法四:
crsctl start resource all //启动全部子资源
集群启动顺序:
1.存储
2.集群服务 ----ohasd crs_stat -t //ohasd 启动调用的是/etc/init/oracle-ohasd.conf 文件
3.启动实例
集群关闭顺序:
1.关闭实例
2.关闭集群服务
3.关闭存储
/u01/oraInventory/ContentsXML/inventory.xml //能够查看到咱们安装集群的全部信息
增长节点
1.配置DNS //全部的节点都要进行节点IP地址的添加
2.配置时间同步
3.配置ssh等效性
4.增长节点IP,在存储中
5.识别并绑定节点
6.建立安装目录
7.同步集群软件
8.让你的 节点能够访问存储
raca>>vim /u01/grid/11g/oui/bin/addNode.sh //能够看到如何增长节点的命令
$ ./addNode.sh -silent "CLUSTER_NEW_NODES={node3}";
raca>>/u01/grid/11g/oui/bin/addNode.sh -addNode CLUSTER_NEW_NODES={racc.com.cn} CLUSTER_NEW_VIRTUAL_HOSTNAMES={racc-vip.vom.vn} //在node1上增长节点,能够在任意存在的节点执行这个命令
增长节点,删除节点
1.在存的在任一节点addnode ----cluster--
cd /u01/grid/11g/oui/bin
export IGNORE_PREADDNODE_CHECKS=Y
./addnode.sh -addnode CLUSTER_NEW_NODES={racc} CLUSTER_NEW_VIRTUAL_HOSTNAMES={racc-vip}
2.在新增长的节点(racc)上执行脚本
/oraInventoryroot.sh
/root.sh
3 在存在的任一节点上增长数据库软件
cd /u01/oracle/11g/oui/bin
export IGNORE_PREADDNODE_CHECKS=Y
./addnode.sh -addnode CLUSTER_NEW_NODES={racc} CLUSTER_NEW_VIRTUAL_HOSTNAMES={racc-vip}
4.在新增长的节点(racc)上执行脚本
/root.sh
5.在任一存在的节点增长实例
dbca
dbca -silent -addInstance -nodeList racc -gdbName updb
-instanceName updb3 -sysDBAUserName sys -sysDBAPassword oracle
delete racc node
1.delete instance //若是服务没有停,就能够直接在任意节点执行,若是服务已经停了,就只能在要删的节点上执行
dbca -silent -deleteInstance -nodeList racc -gdbName updb
-instanceName updb3 -sysDBAUserName sys -sysDBAPassword oracle
2.delete database
racc:
cd /u01/oracle/11g/oui/bin
./runInstaller -updateNodeList ORACLE_HOME=/u01/oracle/11g
"CLUSTER_NODES={racc}" -local
raca:
/u01/oracle/11g/oui/bin
./runInstaller -updateNodeList ORACLE_HOME=/u01/oracle/11g
"CLUSTER_NODES={raca,racb}"
3.delete clusterware
racc:
# /u01/grid/11g/crs/install/rootcrs.pl -deconfig -force -deinstall //停掉服务
raca:
#crsctl delete node -n racc //若是crsctl这条命令说找不到,咱们就切换到oracle用户的下,给grid的环境变量,crsctl命令能够找到了,which crsctl 能够找到路径。回到root用户下,而后用绝对路径来执行这个命令
[root@raca ~]# su - oracle [oracle@raca ~]$ . .grid [oracle@raca ~]$ which crsctl /u01/grid/11g/bin/crsctl [oracle@raca ~]$ exit logout [root@raca ~]# /u01/grid/11g/bin/crsctl delete node -n racb CRS-4661: Node racb successfully deleted.
racc:
$cd /u01/oracle/11g/oui/bin
./runInstaller -updateNodeList ORACLE_HOME=/u01/grid/11g
"CLUSTER_NODES={racc}" CRS=TRUE -silent -local
raca:
$cd /u01/oracle/11g/oui/bin
./runInstaller -updateNodeList ORACLE_HOME=/u01/grid/11g
"CLUSTER_NODES={raca,racb}" CRS=TRUE -silent
若是数据库再次打开后,不能启动,咱们的解决方法
crs_stat -t //发现asm,实例未启动。咱们用下面的方法来接
[root@raca ~]# cat /etc/init/oracle-ohasd.conf # Copyright (c) 2001, 2011, Oracle and/or its affiliates. All rights reserved. # # Oracle OHASD startup start on runlevel [35] stop on runlevel [!35] respawn exec /etc/init.d/init.ohasd run >/dev/null 2>&1 </dev/null //将这一句复制下来 vim /etc/rc.local touch /var/lock/subsys/local /etc/init.d/init.ohasd run >/dev/null 2>&1 </dev/null & //将刚才复制的那句添加进去后,重启电脑