[转]何时该用NoSQL？

NoSQL这两年愈来愈热，尤为是大型互联网公司很是热衷这门技术。根据笔者的经验，并非任何场景，NoSQL都要优于关系型数据库。下面咱们来具体聊聊，何时使用NoSQL比较给力：

1) 数据库表schema常常变化
好比在线商城，维护产品的属性常常要增长字段，这就意味着ORMapping层的代码和配置要改，若是该表的数据量过百万，新增字段会带来额外开销（重建索引等）。NoSQL应用在这种场景，能够极大提高DB的可伸缩性，开发人员能够将更多的精力放在业务层。

 

2)数据库表字段是复杂数据类型

对于复杂数据类型，好比SQL Sever提供了可扩展性的支持，像xml类型的字段。不少用过的同窗应该知道，该字段无论是查询仍是更改，效率很是通常。主要缘由是是DB层对xml字段很难建高效索引，应用层又要作从字符流到dom的解析转换。NoSQL以json方式存储，提供了原生态的支持，在效率方便远远高于传统关系型数据库。

 

3)高并发数据库请求

此类应用常见于web2.0的网站，不少应用对于数据一致性要求很低，而关系型数据库的事务以及大表join反而成了"性能杀手"。在高并发状况下，sql与no-sql的性能对比因为环境和角度不一样一直是存在争议的，并非说在任何场景，no-sql老是会比sql快。有篇article和你们分享下，http://artur.ejsmont.org/blog/content/insert-performance-comparison-of-nosql-vs-sql-servers

 

4)海量数据的分布式存储

海量数据的存储若是选用大型商用数据，如Oracle，那么整个解决方案的成本是很是高的，要花不少钱在软硬件上。NoSQL分布式存储，能够部署在廉价的硬件上，是一个性价比很是高的解决方案。Mongo的auto-sharding已经运用到了生产环境。http://www.mongodb.org/display/DOCS/Sharding

 

并非说NoSQL能够解决一切问题，像ERP系统、BI系统，在大部分状况仍是推荐使用传统关系型数据库。主要的缘由是此类系统的业务模型复杂，使用NoSQL将致使系统的维护成本增长。

 

 

为何要使用NoSQL

 

NoSQL概念

随着web2.0的快速发展，非关系型、分布式数据存储获得了快速的发展，它们不保证关系数据的ACID特性。NoSQL概念在2009年被提了出来。NoSQL最多见的解释是“non-relational”，“Not Only SQL”也被不少人接受。（“NoSQL”一词最先于1998年被用于一个轻量级的关系数据库的名字。）

NoSQL被咱们用得最多的当数key-value存储，固然还有其余的文档型的、列存储、图型数据库、xml数据库等。在NoSQL概念提出以前，这些数据库就被用于各类系统当中，可是却不多用于web互联网应用。好比cdb、qdbm、bdb数据库。

传统关系数据库的瓶颈

传统的关系数据库具备不错的性能，高稳定型，久经历史考验，并且使用简单，功能强大，同时也积累了大量的成功案例。在互联网领域，MySQL成为了绝对靠前的王者，绝不夸张的说，MySQL为互联网的发展作出了卓越的贡献。

在90年代，一个网站的访问量通常都不大，用单个数据库彻底能够轻松应付。在那个时候，更多的都是静态网页，动态交互类型的网站很少。

到了最近10年，网站开始快速发展。火爆的论坛、博客、sns、微博逐渐引领web领域的潮流。在初期，论坛的流量其实也不大，若是你接触网络比较早，你可能还记得那个时候还有文本型存储的论坛程序，能够想象通常的论坛的流量有多大。

Memcached+MySQL

后来，随着访问量的上升，几乎大部分使用MySQL架构的网站在数据库上都开始出现了性能问题，web程序再也不仅仅专一在功能上，同时也在追求性能。程序员们开始大量的使用缓存技术来缓解数据库的压力，优化数据库的结构和索引。开始比较流行的是经过文件缓存来缓解数据库压力，可是当访问量继续增大的时候，多台web机器经过文件缓存不能共享，大量的小文件缓存也带了了比较高的IO压力。在这个时候，Memcached就天然的成为一个很是时尚的技术产品。

Memcached做为一个独立的分布式的缓存服务器，为多个web服务器提供了一个共享的高性能缓存服务，在Memcached服务器上，又发展了根据hash算法来进行多台Memcached缓存服务的扩展，而后又出现了一致性hash来解决增长或减小缓存服务器致使从新hash带来的大量缓存失效的弊端。当时，若是你去面试，你说你有Memcached经验，确定会加分的。

Mysql主从读写分离

因为数据库的写入压力增长，Memcached只能缓解数据库的读取压力。读写集中在一个数据库上让数据库不堪重负，大部分网站开始使用主从复制技术来达到读写分离，以提升读写性能和读库的可扩展性。Mysql的master-slave模式成为这个时候的网站标配了。

分表分库

随着web2.0的继续高速发展，在Memcached的高速缓存，MySQL的主从复制，读写分离的基础之上，这时MySQL主库的写压力开始出现瓶颈，而数据量的持续猛增，因为MyISAM使用表锁，在高并发下会出现严重的锁问题，大量的高并发MySQL应用开始使用InnoDB引擎代替MyISAM。同时，开始流行使用分表分库来缓解写压力和数据增加的扩展问题。这个时候，分表分库成了一个热门技术，是面试的热门问题也是业界讨论的热门技术问题。也就在这个时候，MySQL推出了还不太稳定的表分区，这也给技术实力通常的公司带来了但愿。虽然MySQL推出了MySQL Cluster集群，可是因为在互联网几乎没有成功案例，性能也不能知足互联网的要求，只是在高可靠性上提供了很是大的保证。

MySQL的扩展性瓶颈

在互联网，大部分的MySQL都应该是IO密集型的，事实上，若是你的MySQL是个CPU密集型的话，那么极可能你的MySQL设计得有性能问题，须要优化了。大数据量高并发环境下的MySQL应用开发愈来愈复杂，也愈来愈具备技术挑战性。分表分库的规则把握都是须要经验的。虽然有像淘宝这样技术实力强大的公司开发了透明的中间件层来屏蔽开发者的复杂性，可是避免不了整个架构的复杂性。分库分表的子库到必定阶段又面临扩展问题。还有就是需求的变动，可能又须要一种新的分库方式。

MySQL数据库也常常存储一些大文本字段，致使数据库表很是的大，在作数据库恢复的时候就致使很是的慢，不容易快速恢复数据库。好比1000万4KB大小的文本就接近40GB的大小，若是能把这些数据从MySQL省去，MySQL将变得很是的小。

关系数据库很强大，可是它并不能很好的应付全部的应用场景。MySQL的扩展性差（须要复杂的技术来实现），大数据下IO压力大，表结构更改困难，正是当前使用MySQL的开发人员面临的问题。

NOSQL的优点

易扩展

NoSQL数据库种类繁多，可是一个共同的特色都是去掉关系数据库的关系型特性。数据之间无关系，这样就很是容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。

大数据量，高性能

NoSQL数据库都具备很是高的读写性能，尤为在大数据量下，一样表现优秀。这得益于它的无关系性，数据库的结构简单。通常MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的Cache是记录级的，是一种细粒度的Cache，因此NoSQL在这个层面上来讲就要性能高不少了。

灵活的数据模型

NoSQL无需事先为要存储的数据创建字段，随时能够存储自定义的数据格式。而在关系数据库里，增删字段是一件很是麻烦的事情。若是是很是大数据量的表，增长字段简直就是一个噩梦。这点在大数据量的web2.0时代尤为明显。

高可用

NoSQL在不太影响性能的状况，就能够方便的实现高可用的架构。好比Cassandra，HBase模型，经过复制模型也能实现高可用。

总结

NoSQL数据库的出现，弥补了关系数据（好比MySQL）在某些方面的不足，在某些方面能极大的节省开发成本和维护成本。

MySQL和NoSQL都有各自的特色和使用的应用场景，二者的紧密结合将会给web2.0的数据库发展带来新的思路。让关系数据库关注在关系上，NoSQL关注在存储上。

 

关系数据库仍是NoSQL数据库

 

         上一篇简单的说明了为何要使用NoSQL。接下来咱们看下如何把NoSQL引入到咱们的项目中，咱们到底要不要把NoSQL引入到项目中。

在过去，咱们只须要学习和使用一种数据库技术，就能作几乎全部的数据库应用开发。由于成熟稳定的关系数据库产品并非不少，而供你选择的免费版本就更加少了，因此互联网领域基本上都选择了免费的MySQL数据库。在高速发展的WEB2.0时代，咱们发现关系数据库在性能、扩展性、数据的快速备份和恢复、知足需求的易用性上并不老是能很好的知足咱们的须要，咱们愈来愈趋向于根据业务场景选择合适的数据库，以及进行多种数据库的融合运用。几年前的一篇文章《One Size Fits All - An Idea Whose Time Has Come and Gone》就已经阐述了这个观点。

当咱们在讨论是否要使用NoSQL的时候，你还须要理解NoSQL也是分不少种类的，在NoSQL百花齐放的今天，NoSQL的正确选择比选择关系数据库还具备挑战性。虽然NoSQL的使用很简单，可是选择倒是个麻烦事，这也正是不少人在观望的一个缘由。

NoSQL的分类

         NoSQL仅仅是一个概念，NoSQL数据库根据数据的存储模型和特色分为不少种类。

类型	部分表明	特色
列存储	Hbase Cassandra Hypertable	顾名思义，是按列存储数据的。最大的特色是方便存储结构化和半结构化数据，方便作数据压缩，对针对某一列或者某几列的查询有很是大的IO优点。
文档存储	MongoDB CouchDB	文档存储通常用相似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段创建索引，实现关系数据库的某些功能。
key-value存储	Tokyo Cabinet / Tyrant Berkeley DB MemcacheDB Redis	能够经过key快速查询到其value。通常来讲，存储无论value的格式，照单全收。（Redis包含了其余功能）
图存储	Neo4J FlockDB	图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，并且设计使用不方便。
对象存储	db4o Versant	经过相似面向对象语言的语法操做数据库，经过对象的方式存取数据。
xml数据库	Berkeley DB XML BaseX	高效的存储XML数据，并支持XML的内部查询语法，好比XQuery,Xpath。

        以上NoSQL数据库类型的划分并非绝对，只是从存储模型上来进行的大致划分。它们之间没有绝对的分界，也有交差的状况，好比Tokyo Cabinet / Tyrant的Table类型存储，就能够理解为是文档型存储，Berkeley DB XML数据库是基于Berkeley DB之上开发的。

NoSQL仍是关系数据库

       虽然09年出现了比较激进的文章《关系数据库已死》，可是咱们内心都清楚，关系数据库其实还活得好好的，你还不能不用关系数据库。可是也说明了一个事实，关系数据库在处理WEB2.0数据的时候，的确已经出现了瓶颈。

       那么咱们究竟是用NoSQL仍是关系数据库呢？我想咱们没有必要来进行一个绝对的回答。咱们须要根据咱们的应用场景来决定咱们到底用什么。

若是关系数据库在你的应用场景中，彻底可以很好的工做，而你又是很是善于使用和维护关系数据库的，那么我以为你彻底没有必要迁移到NoSQL上面，除非你是个喜欢折腾的人。若是你是在金融，电信等以数据为王的关键领域，目前使用的是Oracle数据库来提供高可靠性的，除非遇到特别大的瓶颈，否则也别贸然尝试NoSQL。

        然而，在WEB2.0的网站中，关系数据库大部分都出现了瓶颈。在磁盘IO、数据库可扩展上都花费了开发人员至关多的精力来优化，好比作分表分库（database sharding）、主从复制、异构复制等等，然而，这些工做须要的技术能力愈来愈高，也愈来愈具备挑战性。若是你正在经历这些场合，那么我以为你应该尝试一下NoSQL了。

选择合适的NoSQL

       如此多类型的NoSQL，而每种类型的NoSQL又有不少，到底选择什么类型的NoSQL来做为咱们的存储呢？这并非一个很好回答的问题，影响咱们选择的因素有不少，而选择也可能有多种，随着业务场景，需求的变动可能选择又会变化。咱们经常须要根据以下状况考虑：

1. 数据结构特色。包括结构化、半结构化、字段是否可能变动、是否有大文本字段、数据字段是否可能变化。
2. 写入特色。包括insert比例、update比例、是否常常更新数据的某一个小字段、原子更新需求。
3. 查询特色。包括查询的条件、查询热点的范围。好比用户信息的查询，可能就是随机的，而新闻的查询就是按照时间，越新的越频繁。

NoSQL和关系数据库结合

          其实NoSQL数据库仅仅是关系数据库在某些方面（性能，扩展）的一个弥补，单从功能上讲，NoSQL的几乎全部的功能，在关系数据库上都可以知足，因此选择NoSQL的缘由并不在功能上。

因此，咱们通常会把NoSQL和关系数据库进行结合使用，各取所长，须要使用关系特性的时候咱们使用关系数据库，须要使用NoSQL特性的时候咱们使用NoSQL数据库，各得其所。

举个简单的例子吧，好比用户评论的存储，评论大概有主键id、评论的对象aid、评论内容content、用户uid等字段。咱们能肯定的是评论内容content确定不会在数据库中用where content=’’查询，评论内容也是一个大文本字段。那么咱们能够把 主键id、评论对象aid、用户id存储在数据库，评论内容存储在NoSQL，这样数据库就节省了存储content占用的磁盘空间，从而节省大量IO，对content也更容易作Cache。

//从MySQL中查询出评论主键id列表 commentIds=DB.query("SELECT id FROM comments where aid='评论对象id' LIMIT 0,20"); //根据主键id列表，从NoSQL取回评论实体数据 CommentsList=NoSQL.get(commentIds);

NoSQL代替MySQL

        在某些应用场合，好比一些配置的关系键值映射存储、用户名和密码的存储、Session会话存储等等，用NoSQL彻底能够替代MySQL存储。不但具备更高的性能，并且开发也更加方便。

NoSQL做为缓存服务器

         MySQL+Memcached的架构中，咱们到处都要精心设计咱们的缓存，包括过时时间的设计、缓存的实时性设计、缓存内存大小评估、缓存命中率等等。

NoSQL数据库通常都具备很是高的性能，在大多数场景下面，你没必要再考虑在代码层为NoSQL构建一层Memcached缓存。NoSQL数据自己在Cache上已经作了至关多的优化工做。

Memcached这类内存缓存服务器缓存的数据大小受限于内存大小，若是用NoSQL来代替Memcached来缓存数据库的话，就能够再也不受限于内存大小。虽然可能有少许的磁盘IO读写，可能比Memcached慢一点，可是彻底能够用来缓存数据库的查询操做。

规避风险

        因为NoSQL是一个比较新的东西，特别是咱们选择的NoSQL数据库还不是很是成熟的产品，因此咱们可能会遇到未知的风险。为了获得NoSQL的好处，又要考虑规避风险，鱼与熊掌如何兼得？

如今业内不少公司的作法就是数据的备份。在往NoSQL里面存储数据的时候还会往MySQL里面存储一份。NoSQL数据库自己也须要进行备份（冷备和热备）。或者能够考虑使用两种NoSQL数据库，出现问题后能够进行切换（避免出现digg使用Cassandra的悲剧）。

总结

      本文只是简单的从MySQL和NoSQL的角度分析如何选择，以及进行融合使用。其实在选择NoSQL的时候，你可能还会碰到关于CAP原则，最终一致性，BASE思想的考虑。由于使用MySQL架构的时候，你也会碰到上面的问题，因此这里没有阐述。