Trafodion的介绍

Trafodion: Transactional SQL on HBase
 

HBase上实时分布式事务处理

 
 
介绍
 

        HBase的SQL能力一直不足。Phoenix缺少Join能力，eBay提出的kylin还不够简洁，facebook Presto的HBase链接器还没公开。

那么，Trafodion来了。它在HBase上提供了标准SQL功能，并支持事务OLTP。Trafodion是HP的开源举措。培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方式。惠普拥有超过20年的积累，针对大数据的事务或业务工做负载，已经开发事务的SQL技术进入数据库technologyand解决方式。 Trafodion给Hadoop的生态系统带来了这一核心技术。要了解不少其它关于起源和项目的名称，请訪问：

www.hp.com/go/trafodion

 
目标工做负载
 
        Hadoop的工做负载，从长期执行的批处理模式。到跨越例如如下图所看到的的以低延时工做负载。

 

在右側被视为很适合的Hadoop的三类分析工做，所以也获取了最多的关注。与此相反，定义为“运营”最左边的工做是一类新工做负载。它包含OLTP工做负载，以及交易

这包含使用社交和移动数据的交互和意见结构化和半结构化数据的混合物。

 
 
 

        传统上。这些工做负载已经经过关系处理数据库。但是。关系数据库具备可扩展性的问题。不提供在某些状况下需要的架构灵活性。Hadoop的定位突破了 
这些限制。市场有愈来愈多的兴趣和压力结合Hadoop的优势以显著减小成本，以拥抱这些工做负载在Hadoop的生态系统。

 

 
        随着业务的工做负载表明的业务需求，它们一般由交易的不断流动，需要低延迟响应时间对于读/写訪问。此外，这些工做负载的特色是：
 
•与ACID兼容保护数据的完整性
•高可用性，并发性和可扩展性 
•多结构化数据 
•高速变化的数据需求
 
特性
 

        眼下，尚未现成的开源SQL的上HBase的解决方式可以充分地知足这些要求。

 

Trafodion提供下面功能以支持Hadoop的事务性工做：

 
•在多个SQL语句，表和行上ACID兼容的分布式事务保护
•丰富的。全功能的ANSI SQL语言支持使用ODBC/ JDBC链接接口 
•经过利用编译时和执行时优化以提升性能
•Trafodion打算使用并行感知的大型数据集查询优化器以提供Hadoop的的全部功能生态系统：
•经过HBase的列家族提供的架构灵活性结构
•在Hadoop的版本号支持快照功能
•高可用性和灾难恢复支持，复制和快照功能
 
长处
 
        Trafodion提供了一个全功能的HBase解决方式。优化全事务的SQL上的数据库管理系统的事务性的数据保护。

 

这些功能有助于克服了Hadoop在支持方面事务性工做的弱点。
 
 
使用Trafodion, 客户能得到例如如下优势: 

•能够利用SQL专长 &复杂的MapReduce编程现有的事务性应用程序

 

•无缝支持已经存在的应用程序

•可以开发下一代高可扩展性，实时性事务处理应用

•下降数据延迟下降分析工做负载

         也能得到Hadoop生态系统内在的下面优势：

•减小基础设施成本 
•大规模的可扩展性和弹性颗粒 

•提升数据可用性和灾难恢复保护

 

架构

 

Trafodion软件架构由三个不一样的层次：client层，SQL数据库服务层，并且所述存储引擎层，例如如下图所看到的。

 

第一层是客户服务。应用程序经过标准的ODBC/JDBC訪问Trafodion数据库。

第二层是Trafodion提供一个关于HBase的顶部模式关系SQL抽象，封装了所有需要管理Trafodion数据库对象服务。这些服务包含链接管理，事务管理，优化计划生成和运行。Trafodion产生并联一个成熟的查询优化器查询计划，而无需复杂的MapReduce编程。

 

第三层是存储引擎由标准的hadoop服务，包含HBase的，HDFS和动物园管理员。Trafodion数据库对象存储在本地的Hadoop（HBase的/HDFS）数据库构。 Trafodion处理SQL语句的请求映射到本地HBase的透明表明应用程序的调用。

 

创新的关键

        Trafodion的分布式事务管理（DTM）的组成部分提供了从事务的多个SQL语句。多个表或多个行的单一表的多重保护。此外，TrafodionDTM经过多个HBase区域配置利用传统的两阶段提交协议。 对横跨集群的分布式集群提供了保护。DTM提供了支持隐式（本身主动提交）。并明白（BEGIN，COMMIT，ROLLBACK WORK）事务控制。
Trafodion对不一样的事务性工做供了不少编译时和执行时的优化，从对于OLTP类交易的单个訪问到运营报告高度复杂SQL语句。

演示样例用例：OpenCart应用

       OpenCartwhich是一个免费的开源电子商务平台，已被改动为运行Trafodion的SQL语句，而不是默认的数据库（MySQL的）的接口。
这是一个很是好的程序，以典型的OLTP工做负载特性。

        前两张图显示的是惠普的购物车OpenCart的变化。最后两个图说明了工做量和查询 - 等级分析使用Trafodion查询工做台。