加速JDBC的快捷方法

JAVA 应用必须经过 JDBC 从数据库中取数，有时候咱们会发现，数据库的负担一点也不重并且 SQL 很简单，但取数的速度仍然很慢。仔细测试会发现，性能瓶颈主要在 JDBC 上，好比 MySQL 的 JDBC 性能就很是差，Oracle 也很差。可是，JDBC 是数据库厂商提供的包，咱们在外部没办法提升性能。

能够想到的办法是利用多 CPU 手段采用并行方案来提速，但 Java 的并行程序很是难写，要考虑资源共享冲突等麻烦事务。

下面介绍使用集算器的并行技术来提高数据库 JDBC 取数性能，能够避免 JAVA 硬编码的复杂性，还可以方便实现多线程结果集的合并。适用于：

1. 源数据规模较大的查询报表
2. 多数据集报表
3. ETL 数据抽取

集算器并行配置

经过集算器进行并行取数前须要配置集算器的并行属性。IDE 中经过菜单“工具 - 选项”设置 IDE 支持的最大并行数量，通常建议最大并行数不要超过 CPU 核数。

集算器服务端则须要修改 raqsoftConfig.xml 配置：

单表并行取数

有时咱们查询的某个表数据量较大、时间较长，这时就能够经过集算器针对单表并行取数提高性能。这里所谓的单表是指经过条件并行读取一份（单表）数据。

全内存

假设内存能够容纳所有要读取的数据，并行取数后再进行下一步运算（全内存的计算速度最快）。
举例

订单（Orders）有订单 ID，订购日期，订单金额等字段，其中订单 ID 是递增的整数逻辑主键。

【计算目标】 并行读取某时间段内订单数

面向单表（单条 SQL）并行取数须要经过参数将源数据拆分多段，创建多个数据库链接并行查询。每每须要将数据尽量平均拆分以免查询时间不均致使任务等待，同时分段参数尽量创建在索引字段上以保证分段效率。
集算器实现

集算器参数

根据查询时间段创建脚本参数，查询起止日期

集算器实现

分段策略（一）基于索引字段分段

基于单表（单 SQL）并行取数前须要进行数据分段，尽可能保证每一个分段的数据平均。而分段参数尽可能基于创建索引的字段（如订单编号）。之因此要使用索引字段来分段，是由于使用索引并不会真地遍历整个表，而是直接定位，当数据量较大时优点明显。

集算器脚本

编写并行取数脚本，这里按照创建索引的订单编号进行分段：

	A	B	C
1	=connect(“db”)
2	=A1.query(“select min( 订单 ID) 最小 ID,max(订单 ID) 最大 ID from 订单 where 订购日期 >=? and 订购日期 <=?”,begin,end)	=b=A2. 最小 ID	=e=A2. 最大 ID
3	=p=4	/ 并行数
4	=p.(b+(e-b)*~\p)	/ 分段参数终值
5	=b	A4.to(,p-1).(~+1)	/ 分段参数初值
6	fork A5,A4
7		=connect(“db”)
8		=B7.query@x(“select * from 订单 where 订单 ID>=? and 订单 ID<=? and 订购日期 >=? and 订购日期 <=?”,A6(1),A6(2),begin,end)
9	=A6.conj()	/ 合并查询结果

脚本解析：

一、A2 根据查询起止日期得到最大订单编号和最小订单编号，用于后面分段

二、B2-C2 将最小订单号和最大订单号分别赋值给变量 b 和 e

三、A3 设置并行数，使用并行取数前应检查集算器的并行数配置以及受权中对并行数量的许可

四、A4-A5 根据起止订单编号和并行数计算每一个并行任务的起止分段参数（序列）

五、经过 fork 启动多个（4 个）线程，参数为分段起止参数序列，这里能够看到 fork 启动的线程数与参数序列成员数相同。在集算器中，常常将序表、序列做为参数值参与运算，很是方便

六、B7 为每一个线程（子任务）创建数据库链接，须要注意链接必须在 fork 子句中创建，以便为多线程分别使用，若共用一个链接没法起到加速取数的效果，数据库会自动把同一链接上的多个请求改成串行执行。所以只有当数据库负担不重，有足够多链接可用时才可使用并行取数提高性能

七、B8 分别查询每一个分段数据，查询结果返回到 A6 格。这里 fork 子句直接返回查询结果（子句最后一行），若是想返回其中某个或某几个计算值能够显示使用 return 关键字返回子线程计算结果

八、返回结果的 A6 格结果，4 个线程返回 4 个结果集

九、A9 合并全部子线程查询结果，以便进行下一步计算

基于索引字段进行数据分段，而且数据分段比较平均时，使用多线程并行查询数据库几乎能够得到线程数倍（线性）的性能提高。

分段策略（二）基于非索引字段分段

若是数据库负担不重时，也能够基于非索引字段进行分段（如日期），相对 JDBC 取数时间，屡次遍历库表时间也并非很大，而这样作的好处是不须要事先查询数据库以肯定起止段界（如最大最小订单编号）。

集算器脚本

	A	B	C
1	=connect(“db”)
2	=n=interval(begin,end)
3	=p=4	/ 并行数
4	=p.(n*~\p).(elapse(begin,~))	/ 分段参数终值
5	=begin	A4.to(,p-1).(after(~,-1))	/ 分段参数初值
6	fork A5,A4
7		=connect(“db”)
8		=B7.query@x(“select * from 订单 where 订购日期 >=? and 订购日期 <=?”,A6(1),A6(2))
9	=A6.conj()	/ 合并查询结果

脚本解析：

与上述使用索引字段订单 ID 分段不一样，这里使用非索引字段订购日期进行分段。设起止日期为：2012-01-01 和 2015-12-31。

一、A2 计算起止日期查询参数间隔天数，用于分段；interval 函数还能够计算年、季度、月、时、分、秒等间隔，用于日期时间处理很方便

二、A3-A5 根据并行数和日期间隔计算分段起止参数序列

三、A6 根据参数序列启动多线程，B8 完成查询并将结果返回到 A6 格，A9 合并查询结果

分段策略（三）并行线程数多于 CPU 核数

前面咱们提到：建议并行任务数不要超过 CPU 核数，由于更多的任务数并不会增长并行度，并且还能够避免 CPU 进行线程切换带来的额外时间开销。但有时也能够将任务数设置到远大于 CPU 核数，能够设置为 CPU 核数的倍数个，这样多 CPU 负载也能够达到动态平衡，并且某些计算还能够简化分段。如上述例子中，若只查询某一年数据就能够把线程数设置为 12（月），从而简化分段。

集算器提供了多线程任务动态平衡机制，当任务数大于并行数配置时，集算器会自动为计算结束的线程分配下一个任务，这时能够保证某个线程会多跑几个小任务，另外一个线程只跑少许大任务，达到整体平衡，而没必要拘泥于必须把数据量平均分配。

集算器脚本

	A	B	C
1	fork to(1,12)
2		=connect(“demo”)
3		=B2.query@x(“select * from 订单 wheremonth( 订购日期)=? and 订购日期 >=? and 订购日期 <=?”,A1,begin,end)
4	=A1.conj()	/ 合并查询结果

脚本解析：

一、A1 根据 1 到 12 的序列启动 12 个线程

二、B3 每一个线程查询一个月的数据并返回结果到 A1

关于 fork 语句

在集算器中，经过 fork 语句能够启动多个线程实施并行计算，并且集算器还提供了多种 merge 函数能够很方便合并并行结果，十分方便。

外存

有时某一条语句（一个表）的数据量较大，分段后并行子任务仍然没法所有加载到内存中，这时须要使用集算器提供的外存计算机制，基于游标查询数据。
举例

沿用上面的例子，假设分段后的数据量很大须要使用游标分批读取处理数据。

集算器实现

	A	B	C
1	=connect(“db”)
2	=A1.query(“select min( 订单 ID) 最小 ID,max(订单 ID) 最大 ID from 订单 where 订购日期 >=? and 订购日期 <=?”,begin,end)	=b=A2. 最小 ID	=e=A2. 最大 ID
3	=p=4	/ 并行数
4	=p.(b+(e-b)*~\p)	/ 分段参数终值
5	=b`	`A4.to(,p-1).(~+1)	/ 分段参数初值
6	fork A5,A4
7		=connect(“db”)
8		=B7.cursor@x(“select * from 订单 where 订单 ID>=? and 订单 ID<=? and 订购日期 >=? and 订购日期 <=?”,A6(1),A6(2),begin,end)
9	=A6.mcursor()	/ 合并查询结果
10	=file(“D:\ 订单.txt”).export@t(A9)	/ 基于游标写入文件

脚本解析：

一、B8 创建数据库游标，查询并不真正取数，多个游标返回到 A6 格

二、A9 合并多路游标，接下来就能够当作一个游标继续使用

三、A10 基于游标，将查询数据分批写入文件中。由于各个线程的运行速度没法保证规律性，因此基于多线程导出数据时次序不可控，对数据顺序有要求时不能使用这个方法。

基于外存游标并行查询与全内存方式很是相似，当内存资源较紧张时能够经过外存计算的方式减小内存占用。

多表并行取数

除了经过条件针对单条 SQL（单表）进行并行取数外，在一些多 SQL 查询场景（如报表多数据集）下仍然能够经过并行同时执行多条语句进行取数。

举例

有多个查询 SQL 基于多个表查询数据，须要提高查询性能。

【计算目标】 并行读取 5 个表数据，并完成关联

这里咱们使用 5 条很是简单（基于单表）的查询 SQL，实际业务中多条SQL 能够任意复杂。

集算器实现

	A	B	C
1	=connect(“db”)
2	=”select * from 订单 where  订购日期 >=date(‘”/begin/”‘) and 订购日期 <=date(‘”/end/”‘)”
3	select 订单 ID, 产品 ID, 单价, 数量 from 订单明细
4	select 客户 ID, 公司名称 from 客户
5	select 雇员 ID, 姓名 from 雇员
6	select 产品 ID, 产品名称 from 产品
7	fork [A2:A6]
8		=connect(“db”)
9		=B8.query@x(A7)
10	= 订单 =A7(1)	= 明细 =A7(2)
11	= 客户 =A7(3)	= 雇员 =A7(4)	= 产品 =A7(5)
12	> 订单.switch(客户 ID, 客户: 客户 ID; 雇员 ID, 雇员: 雇员 ID)
13	= 明细.switch(订单 ID, 订单: 订单 ID; 产品 ID, 产品: 产品 ID)
14	=A13.new(订单 ID. 客户 ID. 公司名称: 客户名称, 订单 ID. 订单 ID: 订单编号, 订单 ID. 雇员 ID. 姓名: 销售, 产品 ID. 产品名称: 产品, 单价: 价格, 数量)

脚本解析：

一、A2-A6 为查询用 SQL 语句串

二、A7 根据多条 SQL 组成序列启动多线程（5 个）

三、B9 每一个线程执行 SQL 查询数据将结果返回到 A7 格（5 个结果集组成的序列）

四、A10-C11 经过序号分别获取 5 个结果集

五、为了保证完整性，A12-A14 对 5 个结果集进行关联并经过外键属性化的方式建立结果序表

以上是集算器并行取数的部分示例，事实上集算器还能够作更复杂的并行计算和结果归并。集算器多线程并行的意义在于使用简单、成本低，相对 JAVA 复杂的多线程编程集算器能够简单到几行脚本，相对数据库集群方案集算器的成本更加可控，并且即便部署数据库集群仍然可使用集算器加速集群单个数据库节点的取数速度。