NoSQL发展简史、粗略分类及选择

    这里对近来看的部分NoSQL资料作一个汇总记录，主要包括简史、粗略分类及数据库选择的考虑事项。NoSQL常见的解释是“non-relational”，有时也称做Not Only SQL。

    一、数据库发展的简单历史，我的感受这篇文章（Ref：[2]）讲得挺好的，知道过去才能把握将来：

    在90年代，一个网站的访问量通常都不大，用单个数据库彻底能够轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站很少。

    到了最近10年，网站开始快速发展。火爆的论坛、博客、sns、微博逐渐引领web领域的潮流。在初期，论坛的流量其实也不大，若是你接触网络比较早，你可能还记得那个时候还有文本型存储的论坛程序，能够想象通常的论坛的流量有多大。

    后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序再也不仅仅专一在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是经过文件缓存来缓解数据库压力，可是当访问量继续增大的时候，多台web机器经过文件缓存不能共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就天然的成为一个很是时尚的技术产品。

    Memcached做为一个独立的分布式的缓存服务器，为多个web服务器提供了一个共享的高性能缓存服务，在Memcached服务器上，又发展了根据hash算法来进行多台Memcached缓存服务的扩展，而后又出现了一致性hash来解决增长或减小缓存服务器致使从新hash带来的大量缓存失效的弊端。

    因为数据库的写入压力增长，Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负，大部分网站开始使用主从复制技术来达到读写分离，以提升读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。

    随着web2.0的继续高速发展，在Memcached的高速缓存，MySQL的主从复制，读写分离的基础之上，这时MySQL主库的写压力开始出现瓶颈，而数据量的持续猛增，因为MyISAM使用表锁，在高并发下会出现严重的锁问题，大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。同时，开始流行使用分表分库来缓解写压力和数据增加的扩展问题。这个时候，分表分库成了一个热门技术，是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候，MySQL推出了还不太稳定的表分区，这也给技术实力通常的公司带来了但愿。虽然MySQL推出了MySQL Cluster集群，可是因为在互联网几乎没有成功案例，性能也不能知足互联网的要求，只是在高可靠性上提供了很是大的保证。

    MySQL的扩展性瓶颈：在互联网，大部分的MySQL都应该是IO密集型的，事实上，若是你的MySQL是个CPU密集型的话，那么极可能你的MySQL设计得有性能问题，须要优化了。大数据量高并发环境下的MySQL应用开发愈来愈复杂，也愈来愈具备技术挑战性。分表分库的规则把握都是须要经验的。虽然有像淘宝这样技术实力强大的公司开发了透明的中间件层来屏蔽开发者的复杂性，可是避免不了整个架构的复杂性。分库分表的子库到必定阶段又面临扩展问题。还有就是需求的变动，可能又须要一种新的分库方式。

    MySQL数据库也常常存储一些大文本字段，致使数据库表很是的大，在作数据库恢复的时候就致使很是的慢，不容易快速恢复数据库。好比1000万4KB大小的文本就接近40GB的大小，若是能把这些数据从MySQL省去，MySQL将变得很是的小。

    关系数据库很强大，可是它并不能很好的应付全部的应用场景。MySQL的扩展性差（须要复杂的技术来实现），大数据下IO压力大，表结构更改困难，正是当前使用MySQL的开发人员面临的问题。

    二、NoSQL的优点[2]

    易扩展

    NoSQL数据库种类繁多，可是一个共同的特色都是去掉关系数据库的关系型特性。数据之间无关系，这样就很是容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

    大数据量，高性能

    NoSQL数据库都具备很是高的读写性能，尤为在大数据量下，一样表现优秀。这得益于它的无关系性，数据库的结构简单。通常MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的Cache是记录级的，是一种细粒度的Cache，因此NoSQL在这个层面上来讲就要性能高不少了。

    灵活的数据模型

    NoSQL无需事先为要存储的数据创建字段，随时能够存储自定义的数据格式。而在关系数据库里，增删字段是一件很是麻烦的事情。若是是很是大数据量的表，增长字段简直就是一个噩梦。这点在大数据量的web2.0时代尤为明显。

    高可用

    NoSQL在不太影响性能的状况，就能够方便的实现高可用的架构。好比Cassandra，HBase模型，经过复制模型也能实现高可用。

    三、NoSQL的简单分类

    NoSQL仅仅是一个概念，NoSQL数据库根据数据的存储模型和特色分为不少种类[3]:

类型	部分表明	特色
列存储	Hbase Cassandra Hypertable	顾名思义，是按列存储数据的。最大的特色是方便存储结构化和半结构化数据，方便作数据压缩，对针对某一列或者某几列的查询有很是大的IO优点。
文档存储	MongoDB CouchDB	文档存储通常用相似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段创建索引，实现关系数据库的某些功能。
key-value存储	Tokyo Cabinet / Tyrant Berkeley DB MemcacheDB Redis	能够经过key快速查询到其value。通常来讲，存储无论value的格式，照单全收。（Redis包含了其余功能）
图存储	Neo4J FlockDB	图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，并且设计使用不方便。
对象存储	db4o Versant	经过相似面向对象语言的语法操做数据库，经过对象的方式存取数据。
xml数据库	Berkeley DB XML BaseX	高效的存储XML数据，并支持XML的内部查询语法，好比XQuery,Xpath。

 

    另外也会有一些细的分类等，例如：    

    类bigTable技术的数据库示例：HBase（不一样于通常的关系数据库,它是一个适合于非结构化数据存储的数据库.另外一个不一样的是HBase基于列的而不是基于行的模式）；Cassandra（一个混合型的非关系的数据库）；Hypertable（Bigtable的一个开源实现）。

    内存数据库：redis key-value存储系统，但也支持持久化机制（快照，AOF等）；Memcached，不过不支持持久化；Memlink 是天涯社区开发的一个高性能、持久化、分布式的Key-list/queue数据引擎。与Memcached不一样的是，它的value是一个list/queue。而且提供了诸如持久化，分布式的功能。听起来有点像Redis，但它号称比Redis更好。[4]

    注意：MemcacheDB与memcached不一样，它是一个分布式、key-value形式的持久存储系统，不是一个缓存组件，而是一个基于对象存取的、可靠的、快速的持久存储引擎。 协议跟memcache一致（不完整），所以不少memcached客户端均可以跟它链接。MemcacheDB采用Berkeley DB做为持久存储组件，故不少Berkeley DB的特性的他都支持。MemcacheDB的前端：memcached的网络层，后端：BerkeleyDB存储。

 

    四、数据库的选择问题

    首先，须要肯定业务需求，是否须要NoSQL产品。对于大多数百万量级、千万量级的应用，MySQL也能支持。

    其次，在明确须要NoSQL产品后，应根据业务需求抽象出数据模型，好比：有些数据是须要采用key-value系统存储，有些数据是须要采用key-list系统存储，有些数据是采用文档数据库存储等等。

    对于NoSQL产品候选列表的选项，能够从以下维度进行考虑：

1. 系统的容量、性能、软硬件环境是否符合需求？
2. 数据的安全机制如何？各类异常是否会丢失数据？
3. 具有主从复制功能？何种一致性策略？
4. 可扩展性？自动扩展 or 程序进行扩展？

    系统的可控性？系统的成熟度、对开发者的支持度、bug谁来修复等等[5]

 

 

Ref：

[1] http://zh.wikipedia.org/zh/NoSQL

[2] http://www.infoq.com/cn/news/2011/01/nosql-why  注：这个连接的内容感受挺好的，包括一些讨论

[3] http://blog.csdn.net/zhongguoren666/article/details/8423589

[4] http://www.cnblogs.com/skyme/archive/2012/07/26/2609835.html

[5] http://www.infoq.com/cn/news/2010/11/tianya-memlink/