1.Ignite简介
Apache Ignite 内存数据组织框架是一个高性能、集成化和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具备更高的性能，同时他还为应用和不一样的数据源之间提供高性能、分布式内存中数据组织管理的功能。缓存
2.Ignite历史
Ignite来源于尼基塔·伊万诺夫于2007年建立的GridGain系统公司开发的GridGain软件，尼基塔领导公司开发了领先的分布式内存片内数据处理技术-领先的Java内存片内计算平台，今天在全世界每10秒它就会启动运行一次。他有超过20年的软件应用开发经验，建立了HPC和中间件平台，并在一些创业公司和知名企业都作出过贡献，包括Adaptec, Visa和BEA Systems。尼基塔也是使用Java技术做为服务器端开发应用的先驱者，1996年他在为欧洲大型系统作集成工做时他就进行了相关实践。
2014年3月，GridGain公司将该软件90%以上的功能和代码开源，仅在商业版中保留了高端企业级功能，如安全性，数据中心复制，先进的管理和监控等。2015年1月，GridGain经过Apache 2.0许可进入Apache的孵化器进行孵化，很快就于8月25日毕业而且成为Apache的顶级项目，9月28日即发布了1.4.0版，2016年1月初发布了1.5.0版，应该说发展、迭代速度很是快。该技术相关资料较少，但确是一个颇有潜力的技术，解决了大规模、大数据量、高并发企业级或者互联网应用面临的若干痛点。安全
3.Ignite和Hadoop以及Spark的关系
Ignite和Hadoop解决的是不一样的问题，即便在必定程度上可能应用了相似的底层基础技术。Ignite是一种多用途，和OLAP/ OLTP内存中数据结构相关的，而Hadoop仅仅是Ignite原生支持（和加速）的诸多数据来源之一。
Spark是一个和Ignite相似的项目。可是Spark聚焦于OLAP，而Ignite凭借强大的事务处理能力在混合型的OLTP/ OLAP场景中表现更好。特别是针对Hadoop，Ignite将为现有的Map/Reduce，Pig或Hive做业提供即插即用式的加速，避免了推倒重来的作法，而Spark须要先作数据ETL，更适合新写的分析应用。服务器
4.和相似技术的比较
在Ignite之前，大规模、大数据量、高并发企业级或者互联网应用为了解决数据缓存、下降数据库负载、提升查询性能等突出问题，不少采用了Hazelcast或者Oracle Coherence或者GemFire（好比12306网站）或者目前应用愈来愈普遍的Redis等缓存技术，本文对这些相关的技术作了简单的比较，基本内容来源于其官方网站，进行了翻译整理，方便更多的人了解他。网络
4.1.Ignite和Hazelcast
Apache Ignite和Hazelcast都提供了富数据网格的特性，解决了可扩展的分布式集群环境下在内存中对数据进行缓存和分区的问题。
Ignite和Hazelcast在缓存的方式上是有不少不一样的，同时支持事务和数据的查询，下面的表格列出了一些主要的不一样点，这些都是咱们在选择内存数据网格产品时须要特别关注的。数据结构
| 序号 | 对比项目 | Apache ignite | Hazelcast |
|---|---|---|---|
| 1 | 聚焦于开源 | Ignite还在不断增长和加强开源版本的功能集，最新的主版本还增长了对C++以及.Net/C#的支持，和Node.js的集成也会很快到来，并且还增长了更快的无死锁事务。 | Hazelcast的开发聚焦于收费的企业版中，好比堆外存储以及持续查询等的特性只在收费版中才提供，SSL加密的功能已经从开源版中删除，只在收费版中提供。 |
| 2 | JCache(JSR107) | Ignite彻底兼容JCache (JSR 107)缓存规范 | Hazelcast彻底兼容JCache (JSR 107)缓存规范 |
| 3 | 堆外存储 | Ignite根据用户配置支持将数据存储在堆内或者堆外 | Hazelcast仅在商业版中提供堆外存储的功能 |
| 4 | 堆外索引 | 只要配置了堆外存储，Ignite就会在堆外存储索引(为了避免影响使用堆内内存的用户应用。) | 不支持 |
| 5 | 持续查询 | Ignite支持容错的持续查询，即容许客户端和服务器端订阅数据变化的持续通知 | Hazelcast仅在商业（收费）版中提供持续查询的功能。 |
| 6 | SSL加密 | Ignite支持SSL/TLS加密，即容许全部的客户端和服务端经过加密的SSL或者TLS协议进行通讯。 | Hazelcast将SSL加密支持从开源版中删除，目前仅在商业（收费）版中支持该功能。 |
| 7 | SQL查询 | Ignite支持完整的SQL(ANSI-99)语法以查询内存中的数据 | Hazelcast仅对SQL提供有限的支持(只有几个关键字) |
| 8 | 关联查询 | Ignite支持完整的SQL关联，包括跨多个缓存的关联，好比：select * from A a, B b where a.b_id = b.id | Hazelcast不支持任何的关联查询，无论用不用SQL，若是须要，开发者须要手工处理多个查询的结果。 |
| 9 | 查询一致性 | Ignite提供完整的查询一致性，即查询是在一个特定的快照中执行的，查询开始以后的数据更新不影响查询的结果。 | Hazelcast查询是不一致的，可能查询结果的一部分将看到某些更新，而另外一部分则不会。 |
| 10 | 查询容错 | Ignite查询是容错的，即查询结果始终是一致的不会受到集群拓扑发生变化的影响，好比节点的加入，退出或崩溃。 | Hazelcast查询是不容错的，即查询结果在集群拓扑发生变化时不一致，而数据正在后台从新平衡。 |
| 11 | 数据一致性 | Ignite支持内存中数据的原子的和事务的一致性，无论数据存储在分区或者复制缓存中。 | Hazelcast仅在分区缓存中支持原子的和事务的一致性，而存储在复制缓存中的数据没有任何事务一致性的保证。 |
| 12 | 无死锁事务 | Ignite支持无死锁乐观事务，他不会得到任何锁，用户也不用再担忧锁顺序，这样的事务同时还提供了更好的性能。 | Hazelcast中必须注意按顺序地更新数据以免死锁，这每每是不可能的，尤为是在大项目中。 |
| 13 | 事务化EntryProcessor | Ignite支持事务化EntryProcessor，他能够在服务端在一个事务中执行并置的业务代码。 | 在Hazelcast中没法使用EntryProcessor或者在一个事务中执行业务代码。 |
| 14 | Web会话集群化 | Ignite为全部已知的应用服务器提供Web会话的缓存和集群化支持。 | Hazelcast仅在商业（收费）版中提供Web会话集群化支持。 |
| 15 | 计算网格 | Ignite提供集群内的MapReduce、ForkJoin和基本的分布式lambda处理，包括做业的负载平衡，容错，检查点，计划任务等。 | Hazelcast仅支持MapReduce和集群内的分布式随机做业。 |
| 16 | 流式数据 | Ignite支持内存内的流处理，包括对流式数据的滑动窗口的查询和维护支持。 | Hazelcast不对流处理提供任何的支持。 |
| 17 | 服务网格 | Ignite可使用户方便地将其服务集群化，包括支持各类集群单例。 | Hazelcast管理的服务不提供单例集群的功能。 |
| 18 | .Net/C#支持 | Ignite为.NET/C#用户提供了完整的内存组织API，包括执行C#闭包，C#缓存，事务以及查询API，原生C# CacheStore API等功能。 | Hazelcast只为.NET/C#提供了有限的客户端API。 |
| 19 | C++支持 | Ignite为C++用户提供了完整的内存组织API。 | Hazelcast只为C++提供了有限的客户端API。 |
| 20 | Node.js支持 | Ignite将为Node.js用户提供客户端API支持。 | Hazelcast不支持Node.js。 |
4.2.Ignite和Coherence
Apache Ignite和Oracle Coherence都提供了富数据网格的特性，解决了可扩展的分布式集群环境下在内存中对数据进行缓存和分区的问题。
Ignite和Coherence在缓存和事务的方式上是有不少不一样的，同时支持数据的查询，下面的表格列出了一些主要的不一样点，这些都是咱们在选择数据网格产品时须要特别关注的。闭包
| 序号 | 对比项目 | Apache Ignite | Oracle Coherence |
|---|---|---|---|
| 1 | 开源和闭源 | Ignite是一个Apache项目，而且还在不断的增长和加强开源版的功能集，最新的主版本提供了对C++、.NET/C#的支持，对Node.js的支持也会很快到来。 | Coherence是一个Oracle的专有软件，并不提供开源和免费的版本。 |
| 2 | JCache (JSR 107) | Ignite彻底兼容JCache (JSR 107)缓存规范 | Coherence彻底兼容JCache (JSR 107)缓存规范 |
| 3 | 堆外存储 | Ignite根据用户配置支持将数据存储在堆内或者堆外 | Oracle Coherence对将数据存储在堆外向开发者提供了有限的选项。 |
| 4 | 堆外索引 | 只要配置了堆外存储，Ignite就会在堆外存储索引(为了避免影响使用堆内内存的用户应用。) | 不支持 |
| 5 | SQL查询 | Ignite支持完整的SQL(ANSI-99)语法以查询查询内存中的数据 | 不支持 |
| 6 | 关联查询 | Ignite支持完整的SQL关联，包括跨多个缓存的关联，好比：select * from A a, B b where a.b_id = b.id | Coherence不支持任何的关联查询，无论用不用SQL，若是须要，开发者须要手工处理多个查询的结果。 |
| 7 | ACID事务 | Ignite提供了每台服务器每秒成千上万事务的优异性能。 | Coherence由于性能低不建议使用事务。 |
| 8 | 分层存储 | Ignite支持分层存储模型，数据能够在堆内、堆外以及交换空间内存储和移动，上层将提供更多的存储能力，固然延迟也会增长。 | 不支持 |
| 9 | 流式数据 | Ignite提供内存内流计算，包括支持流式数据的滑动窗口的维护和查询 | 不支持 |
| 10 | 配置 | Ignite支持经过Java Bean以及原生的Spring XML集成对系统进行配置，同时也支持经过代码对系统进行方便配置的能力。 | Coherence经过专有的XML格式文件进行配置，不支持经过代码进行配置。 |
4.3.Ignite和Gemfire
Apache Ignite和Pivotal Gemfire都提供了富数据网格的特性，解决了可扩展的分布式集群环境下在内存中对数据进行缓存和分区的问题。
Ignite和Gemfire在缓存和事务的方式上是有不少不一样的，同时支持数据的查询，下面的表格列出了一些主要的不一样点，这些都是咱们在选择数据网格产品时须要特别关注的。架构
| 序号 | 对比项目 | Apache Ignite | Pivotal Gemfire |
|---|---|---|---|
| 1 | 开源和闭源 | Ignite是一个Apache项目，而且还在不断的增长和加强开源版的功能集，最新的主版本提供了对C++、.NET/C#的支持，对Node.js的支持也会很快到来。 | Gemfire是Pivotal的专有软件。 |
| 2 | JCache (JSR107) | Ignite数据网格是JCache（JSR107）规范的一个实现，该API为数据访问提供了简单易用、可是功能强大的API。 | Gemfire没有实现JCache，使用专有的API。 |
| 3 | 堆内和堆外 | Ignite根据用户配置支持将数据存储在堆内和堆外。 | Gemfire不支持将数据存储在堆外 |
| 4 | SQL查询 | Ignite支持完整的SQL(ANSI-99) 查询语法以查询内存中的数据。 | Gemfire不支持标准的SQL语法，可是他提供了本身的叫作OQL的对象查询语言。 |
| 5 | 关联查询 | Ignite支持完整的SQL关联，包括跨多个缓存的关联，好比：select * from A a, B b where a.b_id = b.id | Gemfire不支持任何的跨区或者跨缓存的关联查询，若是须要，开发者须要手工处理多个查询的结果。 |
| 6 | 跨分区事务 | Ignite支持跨分区事务，事务能够在整个集群中缓存的全部分区中执行。 | Gemfire不支持跨越多个缓存分区或者节点的事务。 |
| 7 | 分层存储 | Ignite支持分层存储模型，数据能够在堆内、堆外以及交换空间内存储和移动，上层将提供更多的存储能力，固然延迟也会增长。 | 不支持 |
| 8 | 流式数据 | Ignite提供内存内流计算，包括支持流式数据的滑动窗口的维护和查询 | 不支持 |
| 9 | 配置 | Ignite支持经过Java Bean以及原生的Spring XML集成对系统进行配置，同时也支持经过代码对系统进行方便配置的能力。 | Gemfire经过专有的XML格式文件进行配置，不支持经过代码进行配置。 |
| 10 | 部署 | Ignite节点是对等的，而且在启动时自动加入集群（不须要任何locator服务器）。 | Gemfire须要启动和维护一个locator服务器，以便控制节点的加入和退出。 |
4.4.Ignite和Redis
Apache Ignite和Redis都提供了分布式缓存的功能，可是每一个产品提供的功能特性是很是不一样的。Redis主要是一个数据结构存储，可是Ignite提供了不少内存内的分布式组件，包括数据网格、计算网格、流计算，固然也包括数据结构。
Ignite是一个内存数据组织，而且提供了更多的功能，没法进行一个一个对应功能特性的比较，可是咱们仍然能对一些数据网格功能进行对比。并发
| 序号 | 对比项目 | Apache Ignite | Redis |
|---|---|---|---|
| 1 | JCache (JSR 107) | Ignite彻底兼容JCache（JSR107）缓存规范 | 不支持 |
| 2 | ACID事务 | Ignite彻底支持ACID事务，包括乐观和悲观并发模型以及READ_COMMITTED, REPEATABLE_READ和SERIALIZABLE隔离级别。 | Redis提供了客户端乐观事务的有限支持，在并发更新状况下，客户端须要手工重试事务。 |
| 3 | 数据分区 | Ignite支持分区缓存，相似于一个分布式哈希，集群中的每一个节点都存储数据的一部分，在拓扑发生变化的状况下，Ignite会自动进行数据的再平衡。 | Redis没有提供分区，可是提供了副本的分片，使用分片很是死板，而且不论是客户端仍是服务端，每当拓扑发生变化时都须要一系列至关复杂的手工步骤。 |
| 4 | 全复制 | Ignite支持缓存的复制，集群中的每一个节点的每一个键值对都支持。 | Redis不提供对全复制的直接支持。 |
| 5 | 原生对象 | Ignite容许用户使用本身的领域对象模型而且提供对任何Java/Scala, C++和.NET/C#数据类型(对象)的原生支持，用户能够在Ignite缓存中轻易的存储任何程序和领域对象。 | Redis不容许用户使用自定义数据类型，仅支持预约义的基本数据结构集合，好比Set、List、Array以及一些其余的。 |
| 6 | 客户端侧（近）缓存 | Ignite提供对于最近访问数据的客户端侧缓存的直接支持。 | 不支持 |
| 7 | （服务端侧）并置处理 | Ignite支持在服务器端靠近数据以并置的方式直接执行任何Java, C++和.NET/C#代码。 | Redis一般没有任何并置处理的能力，服务器端基本只支持LUA脚本语言，服务器端不直接支持Java, .NET,或者C++代码执行。 |
| 8 | SQL查询 | Ignite支持完整SQL（ANSI-99）语法以查询内存中的数据。 | Redis不支持任何查询语言，只支持客户端缓存API。 |
| 9 | 持续查询 | Ignite提供对客户端和服务器端持续查询的支持，用户能够设置服务器端的过滤器来减小和下降传输到客户端的事件数量。 | Redis提供客户端基于键的事件通知的支持，可是他不提供服务器端的过滤器，所以形成了在客户端和服务器端中更新通知网络流量的显著增长。 |
| 10 | 数据库集成 | Ignite能够自动集成外部的数据库-RDBMS, NoSQL,和HDFS。 | Redis没法与外部数据库集成。 |