Using Oracle Data Guard with a Sharded Database

时间  2019-11-09
标签 using oracle data guard sharded database 栏目 Oracle 繁體版
原文   原文链接

一、概念和体系结构

Sharding是一种水平数据分片的架构。每一个数据库都有单独的本地资源（CPU、内存、硬盘）。这样的配置中，每一个数据库被称做分片shard。全部的分片合并在一块儿凑成一个逻辑数据库，这个逻辑的数据库被称做分片数据库(SDB)。水平分片将一张数据库中的表拆分红多个分片，每一个分片有相同的列，可是具备不一样的行。所以这样的表也被称做(sharded table)。html

另外它也是一种shared-nothing的架构，消除了单点故障(由于分片它不共享物理资源，如cpu、内存或存储设备)，在软件方面也是松耦合的，因此它不须要运行集群软件。node

从DBA的角度来看，SDB由多个分片组成。这些分片能够集体管理，也能够单独进行管理，然而从应用程序使用的角度上来看，SDB就是一个数据库，分片的数量和数据在那个分片上对数据库应用程序来讲都是彻底透明的。数据库

分片适用于OLTP应用程序，使用分片的应用程序必须具备良好的数据模型和数据分片的结构。例如（一致的hash、范围、列表或者是这些组合），主要使用分片切分的键值来访问数据。例如咱们可使用的分片键能够是customer_id、Account_no或Country_id等等。安全

sharding主要的优势：网络

  • 线性扩展--Sharding消除了性能瓶颈，经过添加分片使得性能和容量可以线性缩放。
  • 失败隔离--分片是一种shared nothing的基础架构，它消除了单点故障。例如共享磁盘、SAN网络和集群软件。它提供了很强的故障隔离机制，一个分片的出现了故障不会影响其余分片的可用性和性能。
  • 数据地理分布--当数据必须位于特定的管辖区域时，分片能够将特定数据存储在靠近其消费者的位置并知足法规要求。
  • 滚动式更新--在一个分片上应用配置更改不会影响其余分片，而且容许管理员首先测试一小部分数据的更改。
  • 简化云部署--分片很是适合在云上部署。

与其余NoSQL数据库不一样，Oracle分片提供了分片的好处，而不牺牲企业级RDBMS的功能。它支持：session

  • 关系模式
  • 数据库分区表
  • 关系型数据库的ACID四个基本要素，原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。
  • SQL和其余变成接口
  • 复杂的数据类型
  • 在线模式更改
  • 多核可扩展性
  • 高级安全性
  • 压缩
  • 高可用性
  • 企业级备份和恢复

Oracle Sharding的体系结构 以下图所示：
Using Oracle Data Guard with a Sharded Database
Oracle Sharding 主要包括下面组件：架构

  • Sharded database (SDB) ：一个单独的逻辑的Oracle数据库，可是在物理上SDB包括多个物理独立的数据库，SDB相似一个数据库池(pool)，数据库池 (pool)中包括多个数据库 (Shard)。
  • Shards：一个shards就是一个独立的分片，他们合在一块儿就组成了SDB。
  • Global service ： 数据库的服务提供访问SDB中的数据。
  • Shard catalog ：是一个Oracle数据库，它提供自动分片部署、分片数据库的集中管理、多分片查询等功能。例如应用查询多个shards的数据，那么会由Shared Catalog来统一进行协调分配。全部配置的更改，例如添加和删除分片，还有global services都在上面执行。还有SDB上全部的DDL操做都须要链接到Shard catalog来执行。Oracle官方推荐使用Data Guard技术来实现shard catalog的高可用。假设Shard catalog出现了问题，此时配置了 DG就只会影响在出问题到切换成功的短期内，执行的维护操做或是对多个Shards的查询。OLTP事务继续路由到指定的sdb执行，并不会受到中断的影响。
  • Shard directors：使用了全局服务管理组件GMS(global service manager component)，经过sharding key，网络监听器，使应用层请求到shard的直接路由。
  • Connection pools：这里主要是中间件范畴，应用程序使用Oracle integrated connection pools(UCP、OCI、ODP.NET、JDBC)链接到分片数据库。
  • Management interfaces：经过使用GDSCTL (command-line utility) 接口和OEM(Oracle Enterprise Manager)来管理sharding。

二、环境介绍

各个节点的角色以及数据库版本以下表所示：
Using Oracle Data Guard with a Sharded Database
其中实例名是系统本身命名的。本文旨在介绍如何部署一个带有adg功能的sharded database。oracle

三、建立Shard Catalog Database

这里使用静默方式在odb01上建立目录数据库。app

[oracle@odb01 ~]$ vi /tmp/dbca.rsp
responseFileVersion=/oracle/assistants/rspfmt_dbca_response_schema_v12.2.0
gdbName=shcdb
sid=shcdb
databaseConfigType=SI
RACOneNodeServiceName=
policyManaged=false
createServerPool=false
force=false
createAsContainerDatabase=false
useLocalUndoForPDBs=true
templateName=/u01/app/oracle/product/19.3.0/db_1/assistants/dbca/templates/General_Purpose.dbc
sysPassword=abcABC12
systemPassword=abcABC12
serviceUserPassword=abcABC12
emConfiguration=DBEXPRESS
emExpressPort=5500
runCVUChecks=FALSE
dbsnmpPassword=abcABC12
dvConfiguration=false
olsConfiguration=false
datafileJarLocation={ORACLE_HOME}/assistants/dbca/templates/
datafileDestination={ORACLE_BASE}/oradata/{DB_UNIQUE_NAME}/
recoveryAreaDestination={ORACLE_BASE}/fast_recovery_area/{DB_UNIQUE_NAME}
storageType=FS
characterSet=ZHS16GBK
nationalCharacterSet=AL16UTF16
registerWithDirService=false
variables=ORACLE_BASE_HOME=/u01/app/oracle/product/19.3.0/db_1,DB_UNIQUE_NAME=shcdb,ORACLE_BASE=/u01/app/oracle,PDB_NAME=,DB_NAME=shcdb,ORACLE_HOME=/u01/app/oracle/product/19.3.0/db_1,SID=shcdb
initParams=sga_target=3GB,nls_language=AMERICAN,remote_login_passwordfile=EXCLUSIVE,db_create_file_dest={ORACLE_BASE}/oradata/{DB_UNIQUE_NAME}/,audit_file_dest={ORACLE_BASE}/admin/{DB_UNIQUE_NAME}/adump,processes=1000,pga_aggregate_target=1GB,nls_territory=AMERICA,db_recovery_file_dest_size=30GB,open_cursors=300,db_name=shcdb,db_recovery_file_dest={ORACLE_BASE}/fast_recovery_area/{DB_UNIQUE_NAME},audit_trail=NONE
sampleSchema=false
memoryPercentage=65
databaseType=MULTIPURPOSE
automaticMemoryManagement=false
totalMemory=0
[oracle@odb01 ~]$ dbca -silent -ignorePreReqs -createDatabase -responseFile /tmp/dbca.rsp -enableArchive true -redoLogFileSize 1024

待数据库建立完成后，执行下面的SQL，完成后重启数据库实例。ide

alter system set open_links=16 scope=spfile;
alter system set open_links_per_instance=16 scope=spfile;
alter user gsmcatuser account unlock;
alter user gsmcatuser identified by oracle;                
create user gdsadmin identified by oracle;
GRANT connect, create session, gsmadmin_role to gdsadmin;
grant inherit privileges on user SYS to GSMADMIN_INTERNAL; 
execute dbms_xdb.sethttpport(8080);
commit;
@?/rdbms/admin/prvtrsch.plb
exec DBMS_SCHEDULER.SET_AGENT_REGISTRATION_PASS('oracle');
SQL> shutdown immediate
SQL> startup

四、安装并配置GSM

GSM的安装很简单，这里使用静默方式安装，静默文件内容以下：

[oracle@odb01 ~]$ vi /tmp/gsm.rsp 
oracle.install.responseFileVersion=/oracle/install/rspfmt_gsminstall_response_schema_v19.0.0
UNIX_GROUP_NAME=oinstall
INVENTORY_LOCATION=/u01/app/oraInventory
ORACLE_HOME=/u01/app/oracle/product/19.3.0/gsm
ORACLE_BASE=/u01/app/oracle
[oracle@odb01 ~]$ /u02/tmp/gsm/runInstaller -silent -ignorePrereq -responseFile /tmp/gsm.rsp
  • 建立shard catalog
[oracle@odb01 ~]$ gdsctl 
GDSCTL: Version 19.0.0.0.0 - Production on Mon Jul 15 11:09:20 CST 2019

Copyright (c) 2011, 2019, Oracle.  All rights reserved.

Welcome to GDSCTL, type "help" for information.

Warning:  GSM  is not set automatically because gsm.ora does not contain GSM entries. Use "set  gsm" command to set GSM for the session.
Current GSM is set to GSMORA
GDSCTL> create shardcatalog -database odb01:1521:shcdb -chunks 12 -user gdsadmin/oracle -sdb shcdb -region region1,region2
GDSCTL> add gsm -gsm sharddirector1 -listener 1531 -pwd oracle -catalog odb01:1521:shcdb -region region1
GDSCTL> add gsm -gsm sharddirector2 -listener 1531 -pwd oracle -catalog odb01:1521:shcdb -region region2
GDSCTL> start gsm -gsm sharddirector1

  • 添加操做系统凭证

    GDSCTL> add credential -credential cre_reg1 -osaccount oracle -ospassword oracle
  • shard node上启动代理并向shard catalog注册
[oracle@odb05 ~]$ schagent -start;echo oracle|schagent -registerdatabase odb01 8080
[oracle@odb06 ~]$ schagent -start;echo oracle|schagent -registerdatabase odb01 8080
[oracle@odb07 ~]$ schagent -start;echo oracle|schagent -registerdatabase odb01 8080
[oracle@odb08 ~]$ schagent -start;echo oracle|schagent -registerdatabase odb01 8080
  • shard node上建立数据库文件目录
    此路径要和shard catalog database的路径保持一致。 
    [oracle@odb05 ~]$ mkdir /u01/app/oracle/{oradata,fast_recovery_area}
[oracle@odb06 ~]$ mkdir /u01/app/oracle/{oradata,fast_recovery_area}
[oracle@odb07 ~]$ mkdir /u01/app/oracle/{oradata,fast_recovery_area}
[oracle@odb08 ~]$ mkdir /u01/app/oracle/{oradata,fast_recovery_area}

五、部署System-Managed Sharded Database

这里分别建立primary group和standby group。

  • 建立shardgroup 
    GDSCTL> add shardgroup -shardgroup primary_sgp -region region1 -deploy_as primary
GDSCTL> add shardgroup -shardgroup standby_sgp -region region2 -deploy_as active_standby
  • 向组添加成员
    这里将odb05和odb06添加至primary group；odb07和odb08添加至standby group。
GDSCTL> add invitednode odb05
GDSCTL> create shard -shardgroup primary_sgp -destination odb05 -credential cre_reg1
The operation completed successfully
DB Unique Name: sh1
GDSCTL> add invitednode odb06
GDSCTL> create shard -shardgroup primary_sgp -destination odb06 -credential cre_reg1
The operation completed successfully
DB Unique Name: sh3
GDSCTL> add invitednode odb07
GDSCTL> create shard -shardgroup standby_sgp -destination odb07 -credential cre_reg1
The operation completed successfully
DB Unique Name: sh4
GDSCTL> add invitednode odb08
GDSCTL> create shard -shardgroup standby_sgp -destination odb08 -credential cre_reg1
The operation completed successfully
DB Unique Name: sh5

使用config命令读取配置信息进行验证，以下图：
Using Oracle Data Guard with a Sharded Database
Using Oracle Data Guard with a Sharded Database

  • 部署shards
    执行deploy命令在各个节点部署。 
    GDSCTL> deploy
deploy: examining configuration...
deploy: deploying primary shard 'sh1' ...
deploy: network listener configuration successful at destination 'odb05'
deploy: starting DBCA at destination 'odb05' to create primary shard 'sh1' ...
deploy: deploying primary shard 'sh3' ...
deploy: network listener configuration successful at destination 'odb06'
deploy: starting DBCA at destination 'odb06' to create primary shard 'sh3' ...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: waiting for 2 DBCA primary creation job(s) to complete...
deploy: DBCA primary creation job succeeded at destination 'odb05' for shard 'sh1'
deploy: deploying standby shard 'sh4' ...
deploy: network listener configuration successful at destination 'odb07'
deploy: starting DBCA at destination 'odb07' to create standby shard 'sh4' ...
deploy: DBCA primary creation job succeeded at destination 'odb06' for shard 'sh3'
deploy: deploying standby shard 'sh5' ...
deploy: network listener configuration successful at destination 'odb08'
deploy: starting DBCA at destination 'odb08' to create standby shard 'sh5' ...
deploy: waiting for 2 DBCA standby creation job(s) to complete...
deploy: waiting for 2 DBCA standby creation job(s) to complete...
deploy: waiting for 2 DBCA standby creation job(s) to complete...
deploy: waiting for 2 DBCA standby creation job(s) to complete...
deploy: waiting for 2 DBCA standby creation job(s) to complete...
deploy: DBCA standby creation job succeeded at destination 'odb07' for shard 'sh4'
deploy: waiting for 1 DBCA standby creation job(s) to complete...
deploy: DBCA standby creation job succeeded at destination 'odb08' for shard 'sh5'
deploy: requesting Data Guard configuration on shards via GSM
deploy: shards configured successfully
The operation completed successfully

    部署完成后，进行验证，以下图所示：
    Using Oracle Data Guard with a Sharded Database
    Using Oracle Data Guard with a Sharded Database

  • 添加global service
GDSCTL> add service -service oltp_rw_srvc -role primary
The operation completed successfully
GDSCTL> start service -service oltp_rw_srvc
The operation completed successfully
GDSCTL> add service -service oltp_ro_srvc -role physical_standby
The operation completed successfully
GDSCTL> start service -service oltp_ro_srvc
The operation completed successfully
GDSCTL> services
Service "oltp_ro_srvc.shcdb.oradbcloud" has 2 instance(s). Affinity: ANYWHERE
   Instance "shcdb%21", name: "sh4", db: "sh4", region: "region2", status: ready.
   Instance "shcdb%31", name: "sh5", db: "sh5", region: "region2", status: ready.
Service "oltp_rw_srvc.shcdb.oradbcloud" has 2 instance(s). Affinity: ANYWHERE
   Instance "shcdb%1", name: "sh1", db: "sh1", region: "region1", status: ready.
   Instance "shcdb%11", name: "sh3", db: "sh3", region: "region1", status: ready.
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程