gemfire:VMware大数据之道

当云计算赶上大数据，怎样在虚拟环境中获取大数据的价值，是企业必须面临的问题。其中最关键的一个部分就是：内存虚拟化。

gemfire:VMware大数据之道

VMware给出了他们的答案：在统一的vSphere云架构之上，提供GemFire实时处置、GreenPlum交互处置及Hadoop批处置三种模式，知足用户的海量、快速及灵活的大数据处置需求，并为开发者、数据剖析师、数据科学家和商务用户提供数据剖析及可视化的数据展现。

与IBM、EMC、富士通、Intel等前后推出Hadoop刊行版差异，Vmware更专一于基础架构层面。在一场2000余人到场的VMware & EMC大数据云高峰论坛上，VMware公司大中华区总裁宋家瑜表示，云的平台才是惟一能解决爆炸性大数据使用的需求，把关键应用移到云平台已是一个必定趋势。

gemfire: VMware大数据之道

Hadoop因为其低成本和高扩展性的优点，成为各大厂商处置海量数据的法宝，但虚拟基础架构云上的Hadoop，存在可靠性问题。凭据阿帕奇Virtual Hadoop wiki文档给出的结论，能够将Hadoop带到云基础架构上，但物理和虚拟基础设施之间的差别可能危及数据完整性和安全性。

如今，VMware开源项目Serengeti试图改变这个问题。该项目将容许企业在云端和虚拟环境中，在 vSphere 上部署和治理Hadoop。

范承工介绍，Serengeti将Hadoop在虚拟基础架构的部署时间从许多天缩短到10分钟，同时还可以提升硬件的利用率，可以知足多租户的需求，有更好的安全隔离，也有更好的伸缩性。Vmware还介绍，经过 vSphere，Hadoop应用如若节点失败可以自动重启。

VMware试图在统一的vSphere云架构之上，提供GemFire实时处置、GreenPlum交互处置及Hadoop批处置三种模式，知足用户的海量、快速及灵活的大数据处置需求，并为开发者、数据剖析师、数据科学家和商务用户提供数据剖析及可视化的数据展现。

Vmware还作了一个UAP(Universal Analytics Platform)的大数据剖析平台，其中包括Greenplum database、Hadoop和Chorus分享软件，这个平台能够帮助客户同时剖析处置结构化和非结构化的数据。

经过Chorus系统，数据科学家能够自助的建立图形工做区，搜索和获取这些企业当中的数据。接下来建立数据剖析沙箱，也不会影响别人，当他有新的发现以后，又能够把他的发现孝敬给其余的数据科学家进行不停的改良。

云端大数据剖析工具Cetas，该产品来源于Vmware收购的一家提供在Hadoop平台之上的剖析服务的公司，提供实时剖析的能力，能够对市场的变化作出快速反映。Cetas经过公共云提供服务，易于部署，内建高效的剖析算法，且简单易用，极度容易的可以把数据上传到云里面，能够提供一个可视性的图表，对数据进行很好的展现。这也意味着，无需专业的数据科学家和统计科学家就能够进行商业剖析。

在知足快速需求上，Vmware有GemFire和SQLFire，他们都是内存为主导的数据库形式，能够实时地对数据的反映。在灵活上，Vmware提供了Object的GemFire的方式，为关系型数据库提供选择。

身兼两职的GemFire，实际上并不是传统的内存数据库，而是横向扩展的疏散式的数据库，能够和现有的数据库共存，把它的优势发挥出来。它有许多平行的算法，能够应对OLTP，OLAP数据剖析等等。

由此看来，Vmware经过并购与研发，提供了包括虚拟服务器层、应用平台层、以及应用之上的数据层的技术。同时，这几种技术也能够一块儿使用，以知足用户全部的应用需求。所以，说总体的大数据解决方案是恰如其分。

背景介绍：传统的数据库大多接纳ACID(即(Atomicity, Consistency, Isolation, Durability)规则进行设计，随着数据量和业务量的扩大，同时为了保持数据的一致性，在并发过程加入了大量的锁控制，所以传统的基于硬盘存储的数据库徐徐成为了大型系统和复杂操做的IO和扩展性瓶颈所在。

VMware的gemfire正好提供这一条理的内存虚拟化技术，将传统意义的数据库进行了内存级其它虚拟化，建立了电脑集群级其它内存池，大大减小了IO延迟，从而软件开发人员不用在考虑硬盘条理的数据交换，设计上更加灵活自由,给OLAP等应用带了新的飞跃。

现有的gemfire部署方式有三种：P2P，client-server 或者 super-peer,hub-spoke组织的架构。

扩展阅读：

12306接纳Pivotal GemFire分布式解决方案 解决尖峰高流量并发问题

中国铁路客户服务中央网站www.12306.cn是世界规模最大的实时买卖系统之一，媲美Amazon.com，节假日尤为是春节的访问高峰，网站压力巨大。2012年6月选择了Pivotal GemFire分布式内存计算平台(Distributed In-memory computing)改造12306，由铁科院项目小组负责人王明哲主任和资拓宏宇(IISI)信息科技有限公司在铁科院主管朱建生所长领导下提供技术实行。

gemfire: VMware大数据之道

GemFire是Pivotal企业级大数据PaaS平台的一部分。Pivotal公司的企业级大数据PaaS平台主要有三个条理：云基础架构层 Cloud Fabric、大数据基础架构层Data Fabric、应用开发基础架构层Application Fabric。GemFire属于大数据基础架构层，此外，Greenplum数据库也属于这一层;云基础架构层的技术是Cloud Foundry;应用开发基础架构层的技术是Spring Framework和RabbitMQ等。

12306以前接纳Unix小型机架构，接纳GemFire技术改形成Linux/X86服务器集群架构，就意味着一下跨越三代。从小型机到大内存X86服务器集群，不只让性能提高了一个数量级，并且成本也要低得多。

2012年3月开始，铁路总公司(原铁道部)开始调研、改造12306。2012年6月选择了Pivotal GemFire分布式内存计算平台(Distributed In-memory computing)改造12306，一期先改造12306的主要瓶颈——余票查询系统。9月份完成代码改造，系统上线。2012年国庆，又是网上订票高峰期间，大师能够显著发现，能够登陆12306，虽然仍是很难订票，可是查询余票很快。2012年10月份，二期用 GemFire改造订单查询系统(客户查询本身的订单记录)。2013年春节，又是网上订票高峰期间，大师能够显著发现，能够登陆12306，虽然仍是很难订票，可是查询余票很快，并且查询本身的订票和下订单也很快。

gemfire: VMware大数据之道

中国铁道科学研究院电子计算技术研究所副所长朱建生表示，“经过技术改造解决了困扰咱们多时的尖峰高流量并发问题，让全国人民再也不因为技术起因而埋怨，咱们终于舒了一口气。Pivotal GemFire分布式集群内存数据技术对整个技术改造发挥了关键的做用。同时，感谢Pivotal公司及实际上施方项目团队的努力，在技术开改造过程当中确保旧系统顺畅运行、旧系统到新系统平滑迁移，快速实现新系统的上线。”

gemfire: VMware大数据之道

据统计， 在2012年头的春运高峰期间，每日有2000万人访问12306网站，日点击量最高到达14亿。大量同时涌入的网络访问形成12306几近瘫痪。 中国铁道科学院电子计算技术研究所做为12306互联网购票系统的承建单位，急需追求方法解决问题。

凭据系统运行数据记录，技术改造以后，在只接纳10几台X86服务器实现了之前数十台小型机的余票计算和查询能力，单次查询的最长时间从以前的15秒左右降低到0.2秒如下，缩短了75倍以上。2012年春运的极端高流量并发状况下，系统几近瘫痪。而在改造以后，支持每秒上万次的并发查询，高峰期间到达2.6万个查询/秒吞吐量，整个系统效率显著提升。如上图所示。

订单查询系统改造，在改造以前的系统运行模式下，每秒只能支持300-400个查询/秒的吞吐量，高流量的并发查询只能经过度库来实现。改造以后，能够实现高达上万个查询/秒的吞吐量，并且查询速度能够保障在20毫秒左右。

新的技术架构能够按需弹性动态扩展，并量增长时，还能够经过动态增长X86服务器来应对，保持毫秒级的响应时间。

gemfire: VMware大数据之道

12306可以取得这样排山倒海的效果，靠技术上的小修小补是不行能的，必须有全新的思绪，可以给性能提高带来杠杆式的做用。12306发现GemFire分布式内存数据平台就是这样一种技术。

GemFire分布式内存数据平台的技术原理如上图所示：经过云计算平台虚拟化技术，将若干X86服务器的内存集中起来，组成最高可达数十TB的内存资源池，将所有数据加载到内存中，进行内存计算。计算过程本身不须要读写磁盘，只是按期将数据同步或异步方式写到磁盘。GemFire在分布式集群中保存了多份数据，任何一台机器故障，其它机器上另有备份数据，所以一般不用担心数据丢失，并且有磁盘数据做为备份。GemFire支持把内存数据持久化到种种传统的关系数据库、Hadoop库和其它文件系统中。

gemfire: VMware大数据之道

大师知道，当前计算架构的瓶颈在存储，处置器的速度根据摩尔定律翻番增加，而磁盘存储的速度增加很缓慢，由此形成巨大高达10万倍的差距。这样就很好理解GemFire为何可以大幅提升系统性能了。

根据计算与存储的关系，咱们能够将计算架构分为四代：

第一代，基于磁盘的单一系统：计算过程当中须要从磁盘读取数据。小型机、大型机是其中的佼佼者，将单一系统的性能作到极致。

第二代，基于磁盘的分布式集群系统：计算过程当中须要从磁盘读取数据，但经过度布系统将数据疏散到差异的服务器磁盘上，提升整个系统的处置能力。如今许多大型互联网和电子商务公司接纳基于X86服务器的分布式集群系统，依赖海量的X86服务器部署解决高流量并发的问题。

第三代，基于内存的单一系统：将整个数据库放在内存中，计算过程不须要从磁盘读取数据。整个系统的性能取决于单一系统的性能。传统的内存数据库就是这样的系统，对于企业级的应用能够很好地解决访问速度的问题，但面临海量数据或是海量并发访问的扩展性问题就无能为力。

第四代，基于内存的分布式集群系统：GemFire就是这样的系统，并行计算是其关键技术之一，于是能够经过增长服务器部署规模，在内存计算的基础上，线性扩展性能