NoSql MongoDB

NoSql简介

NoSQL(Not Only SQL )，意即“不只仅是SQL” ,指的是非关系型的数据库 。是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势愈加高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于铺天盖地的关系型数据库运用，这一律念无疑是一种全新的思惟的注入。 关系型数据库中的表都是存储一些结构化的数据，每条记录的字段的组成都同样，即便不是每条记录都须要全部的字段，但数据库会为每条数据分配全部的字段。而非关系型数据库以键值对(key-value)存储，它的结构不固定，每一条记录能够有不同的键，每条记录能够根据须要增长一些本身的键值对，这样就不会局限于固定的结构，能够减小一些时间和空间的开销。

常见的NoSql(非关系型数据库)数据库

 

键值(Key-Value)存储数据库 
* Riak：一个开源、分布式键值数据库，支持数据复制和容错 
* Redis：一个开源的键值存储数据库，支持主从式复制、事务，Pub/Sub、Lua脚本，还支持给Key添加时限 
* Dynamo：一个键值分布式存储数据库，直接由亚马逊Dynamo数据库实现 
* Oracle NoSQL Database：来自Oracle的键值NoSQL数据库，支持事务ACID和JSON 
* Oracle NoSQL Database：具有数据备份和分布式键值存储系统 
* Voldemort：具有数据备份和分布式键值存储系统 
* Aerospike：一个键值存储数据库，支持混合内存架构，经过强一致性和可调一致性保证数据的完整性

 

列存储数据库 
* Cassandra：支持跨数据中心的数据复制，提供列索引 
* HBase：一个开源、分布式、面向列存储的模型 
* Amazon SimpleDB：一个非关系型数据存储 
* Apache Accumulo：有序的、分布式键值数据存储，基于Google的BigTable设计 
* Hypertable：一个开源、可扩展的数据库，模仿Bigtable，支持分片 
* Azure Tables：为要求大量非结构化数据存储的应用提供NoSQL性能

 

文档型数据库 
* MongoDB：开源、面向文档 
* CounchDB：一个使用JSON的文档数据库，使用Javascript作MapReduce查询，也是一个使用HTTP的API 
* Couchbase：基于JSON模型 
* RavenDB：一个基于.net语言的面向文档数据库 
* MarkLogic：用来存储基于XML和以文档为中心的信息，支持灵活的模式

 

图形(Graph)数据库 
* Neo4j：一个图数据库，支持ACID事务 
* InfiniteGraph：用来维持和遍历对象间的关系，支持分布式数据存储 
* AllegroGraph：结合使用了内存和磁盘，提供了高可扩展性，支持SPARQ、RDFS++和Prolog推理

 

NoSql数据库优缺点

　　在优点方面主要体如今下面几点：

　　　　　　　　 简单的扩展

　　　　　　　　快速的读写

　　　　　　　　低廉的成本

　　　　　　　　灵活的数据模型

　　在不足方面主要有下面几点：

　　　　　　不提供对SQL的支持 　　

　　　　　　支持的特性不够丰富

　　　　　　 现有的产品不够成熟

 

MongoDB简介

　　MongoDB是用C++语言编写的非关系型数据库。特色是高性能、易部署、易使用，存储数据十分方便，主要特性有： 
　　面向集合存储，易于存储对象类型的数据 
　　模式自由 
　　支持动态查询 
　　支持彻底索引，包含内部对象 
　　支持复制和故障恢复 
　　使用高效的二进制数据存储，包括大型对象 
　　文件存储格式为BSON(一种JSON的扩展)

MongoDB和关系数据库的对比

对比项	mongoDB	mysql oracle
表	集合	二维表table
表的一行数据	文档document	一条记录recoder
表字段	键key	字段filed
字段值	值value	值value
主外键	无	PK FK
灵活度扩展性	极高	差

MongoDB基本概念

• 文档(document)是MongoDB中数据的基本单元，很是相似于关系型数据库系统中的行(可是比行要复杂的多)。
• 集合(collection)就是一组文档，若是说MongoDB中的文档相似于关系型数据库中的行，那么集合就如同表。
• MongoDB的单个计算机能够容纳多个独立的数据库，每个数据库都有本身的集合和权限。
• MongoDB自带简洁但功能强大的JavaScript shell，这个工具对于管理MongoDB实例和操做数据做用很是大。
• 每个文档都有一个特殊的键”_id”,它在文档所处的集合中是惟一的，至关于关系数据库中的表的主键。

MongoDB数据类型

数据类型	描述	举例
null	表示空值或者未定义的对象	{“x”:null}
布尔值	真或者假：true或者false	{“x”:true}
32位整数	32位整数。shell是不支持该类型的，shell中默认会转换成64位浮点数
64位整数	64位整数。shell是不支持该类型的，shell中默认会转换成64位浮点数
64位浮点数	64位浮点数。shell中的数字就是这一种类型	{“x”：3.14，”y”：3}
字符串	UTF-8字符串	{“foo”:”bar”}
符号	shell不支持，shell会将数据库中的符号类型的数据自动转换成字符串
对象id	文档的12字节的惟一id	{“id”: ObjectId()}
日期	从标准纪元开始的毫秒数	{“date”:new Date()}
正则表达式	文档中能够包含正则表达式，遵循JavaScript的语法	{“foo”:/foobar/i}
代码	文档中能够包含JavaScript代码	{“x”：function() {}}
未定义	undefined	{“x”：undefined}
数组	值的集合或者列表	{“arr”: [“a”,”b”]}
内嵌文档	文档能够做为文档中某个key的value	{“x”:{“foo”:”bar”}}

MongoDB使用

MongoDB的安装很是简单，只须要将下载的MongoDB的压缩文件解压到任意目录，并将其中的bin目录加入到系统的path环境变量中便可

在启动MongoDB以前，要手动建立一个存放MongoDB数据文件的目录，如D:\mongo_data 在命令行执行 mongod --dbpath=D:\mongo_data

在命令行中可使用mongo命令链接到MongoDB服务器，以下，输入mongo命令默认链接到本地的名称为test的数据库，若是但愿链接到远程数据库，可使用mongo ip:port

建立数据库,使用命令 use 数据库名称 ,如： use mydb1

删除当前数据库，使用命令 db.dropDatabase()

MongoDB经常使用操做

查看全部数据库，使用命令 show dbs

查看当前所在数据库，使用命令 db

 查看当前数据库中全部的集合，使用命令 show collections 或使用show tables

建立集合有两种方式，显示建立和隐式建立

　　显示建立可使用命令 db.createCollection(“集合名称")

　　隐式建立可使用命令 db.集合名称.insert({}),指建立集合并同时向集合中插入数据,例如：db.customer.insert({name:”jack”})　　

　　向集合添加文档，使用命令 db.集合名称.insert({})，例如： db.user1.insert({name:”jack”,age:20})

　　删除集合中的文档，使用命令 db.集合名称.remove({删除条件})，不加删除条件为删除集合中的全部文档，例如，db.c1.remove() 为删除c1集合中的全部文档，db.c1.remove({name:”user1”})为删除c1集合中name为user1的文档　　

　　查询集合中的文档，可使用命令 db.集合名称.find({条件})，或者使用 db.集合名称.findOne() 查询第一个文档　

　　查询集合中的文档 ，使用条件表达式(<, <=, >, >=,!=)　　　

　　　　//大于： field > value 　　db.collection.find({field:{$gt:value}});

　　　　//小于： field < value 　　db.collection.find({field:{$lt:value}});

　　　　//大于等于： field >= value 　　db.collection.find({field:{$gte:value}});

　　　　//小于等于： field <= value　　 db.collection.find({field:{$lte:value}});

　　　　 //不等于： field != value 　　db.collection.find({field:{$ne:value}});

　　查询集合中的文档 ，统计(count)、排序(sort)、分页(skip、limit)

　　　　db.customer.count();

　　　　db.customer.find().count();

　　　　db.customer.find({age:{$lt:5}}).count();

　　　　db.customer.find().sort({age:1});降序-1

　　　　db.customer.find().skip(2).limit(3);

　　　　db.customer.find().sort({age:-1}).skip(2).limit(3);

　　　　db.customer.find().sort({age:-1}).skip(2).limit(3).count();

　　　　db.customer.find().sort({age:-1}).skip(2).limit(3).count(0);

　　　　db.customer.find().sort({age:-1}).skip(2).limit(3).count(1);

　　查询集合中的文档 ,$all主要用来查询数组中的包含关系，查询条件中只要有一个不包含就不返回

　　　　db.customer.find({post:{$all:[1,2]}})

　　查询集合中的文档 ,$in，相似于关系型数据库中的IN

　　　　db.customer.find({age:{$in:[1,2]}})

　　查询集合中的文档 ,$nin，与$in相反

　　查询集合中的文档 ,$or，至关于关系型数据库中的OR，表示或者的关系，例如查询name为user2或者age为3的文档，命令为： db.customer.find({$or:[{name:”user2”},{age:3}]})

　　查询集合中的文档 ,$exists，用于查询集合中存在某个键的文档或不存在某个键的文档，例如查询customer集合中存在name键的全部文档，可使用 db.customer.find({name:{$exists:1}})，

　　　　$exists:1表示真，指存在 $exists:0表示假，指不存在

　　更新集合中的文档，语法以下：

　　　　db.collection.update(criteria,objNew,upsert,multi) 参数说明：

　　　　　　criteria:用于设置查询条件的对象

　　　　　　objNew:用于设置更新内容的对象

　　　　　　upsert:若是记录已经存在，更新它，不然新增一个记录，取值为0或1

　　　　　　multi：若是有多个符合条件的记录，是否所有更新，取值为0或1 注意：默认状况下，只会更新第一个符合条件的记录 通常状况下后两个参数分别为0,1 ，即： 　　　　　　　　　　　　   　　　　　　db.collection.update(criteria,objNew,0,1)　　

　　更新集合中的文档,将集合中name为user1的文档改为name为jack

　　　　db.collection.update({name:"user1"},{name:"jack"})

　　更新集合中的文档, $set 用来指定一个键的值，若是这个键不存在，则建立它。例如： 给name为user1的文档添加address，可使用命令：

　　　　db.c1.update({name:”user1”},{$set:{address:”bj”}},0,1) 将name为user1的文档修改address为tj，其它键值对不变,命令为：

　　　　db.c1.update({name:”user1”},{$set:{address:”tj”}},0,1)

　　更新集合中的文档,使用 $inc 将集合中name为user1的age加1，其它键不变, $inc表示使某个键值加减指定的数值

　　　　db.c1.update({name:”user1”},{$inc:{age:1}})

　　更新集合中的文档, $unset 用来删除某个键，例如删除name为user1的文档中的address键，可使用命令：

　　　　db.c1.update({name:”user1”},{$unset:{address:1}},0,1)

 

索引　

　　建立普通索引，使用命令 db.collection.ensureIndex({key:1}) 　　

　　建立惟一索引，使用命令 db.collection.ensureIndex({key:1}，{unique:true})

　　查看关于索引的相关信息，使用命令 db.collection.stats()

　　 查看查询使用索引的状况，使用命令 db.collection.find({key:value}).explain()

　　删除索引，使用命令 db.collection.dropIndex({key:1})

　　删除集合，也会将集合中的索引所有删除

固定集合(capped collection)　

　　固定集合指的是事先建立并且大小固定的集合 。

　　固定集合特性：固定集合很像环形队列，若是空间不足，最先的文档就会被删除，为新的文档腾出空间。通常来讲，固定集合适用于任何想要自动淘汰过时属性的场景，没有太多的操做限制。

　　建立固定集合使用命令：db.createCollection(“collectionName”,{capped:true,size:100000,max:100});

　　size指定集合大小，单位为KB，max指定文档的数量 当指定文档数量上限时，必须同时指定大小。淘汰机制只有在容量尚未满时才会依据文档数量来工做。要是容量满了，淘汰机制会依据容量来工做。备份(mongodump)和恢复(mongorestore)

　　MongoDB提供了备份和恢复的功能，分别是MongoDB下载目录下的mongodump.exe和mongorestore.exe文件

　　备份数据使用下面的命令：

　　　　>mongodump -h dbhost -d dbname -o dbdirectory

　　　　-h：MongDB所在服务器地址，例如：127.0.0.1，固然也能够指定端口号：127.0.0.1:27017

　　　　-d：须要备份的数据库实例，例如：test

　　　　-o：备份的数据存放位置，例如：c:\data\dump，固然该目录须要提早创建，在备份完成后，系统自动在dump目录下创建一个test目录，这个目录里面存放该数据库实例的备份数据。

　　恢复数据使用下面的命令：

　　　　>mongorestore -h dbhost -d dbname -directoryperdb dbdirectory

　　　　　　-h：MongoDB所在服务器地址

　　　　　　-d：须要恢复的数据库实例，例如：test，固然这个名称也能够和备份时候的不同，好比test2

　　　　　　-directoryperdb：备份数据所在位置，例如：c:\data\dump\test

导入(mongoimport)和导出(mongoexport)

 

　　导出数据可使用命令：

　　　　mongoexport -h dbhost -d dbname -c collectionName -o output

　　　　　　参数说明:

　　　　　　　　-h 数据库地址 　　

　　　　　　　　-d 指明使用的库

　　　　　　　　-c 指明要导出的集合

　　　　　　　　-o 指明要导出的文件名

　　导入数据可使用命令：

　　　　mongoimport -h dbhost -d dbname -c collectionname 文件的地址...

　　　　　参数说明:

　　　　　　-h 数据库地址

　　　　　　-d 指明使用的库 　　

　　　　　　-c 指明要导入的集合

　　　　　　本地的文件地址...

 

安全和认证

 

　　　　每一个MongoDB实例中的数据库均可以有许多用户。若是开启了安全性检查，则只有数据库认证用户才能执行读或者写操做。在认证的上下文中，MongoDB会将普通的数据做为admin数据库处理。admin数据库中的用户被视为超级用户(即管理员)。 在认证以后，管理员能够读写全部数据库，执行特定的管理命令，如listDatabases和shutdown。 在开启安全检查以前，必定要至少有一个管理员帐号。

　　在admin数据库中建立管理员帐号：

　　　　use admin; db.addUser(“root”,”root”);

　　在test数据库中建立普通帐号：

　　　　 use test; db.addUser(“zhangsan”,”123”); db.addUser(“lisi”,”123”,true);

　　　　　　注意：用户zhangsan，密码为123，对test数据库拥有读写权限 用户lisi，密码为123，对test数据库拥有只读权限

　　从新启动数据库服务，并开启安全检查： mongod --dbpath d:\mongo_data --auth

 

分片(sharding)分布式存储..

 

　　　　分片(sharding)是指将数据拆分，将其分散存在不一样的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不一样的机器上，不须要功能强大的大型计算机就能够储存更多的数据，处理更多的负载。

　　　　MongoDB分片的基本思想就是将集合切分红小块。这些块分散到若干片里面，每一个片只负责总数据的一部分。应用程序没必要知道哪片对应哪些数据，甚至不须要知道数据已经被拆分了，因此在分片以前要运行一个路由进程，该进程名为mongos。这个路由器知道全部数据的存放位置，因此应用能够链接它来正常发送请求。对应用来讲，它仅知道链接了一个普通的mongod。路由器知道数据和片的对应关系，可以转发请求到正确的片上。若是请求有了回应，路由器将其收集起来回送给应用。

　　　　设置分片时，须要从集合里面选一个键，用该键的值做为数据拆分的依据。这个键称为片键(shard key)。 {name:"zhangsan",age:1}

　　　　用个例子来讲明这个过程：假设有个文档集合表示的是人员。若是选择名字("name")做为片键，第一片可能会存放名字以A~F开头的文档，第二片存的G~P的名字，第三片存的Q~Z的名字。随着添加或者删除片，MongoDB会从新平衡数据，使每片的流量都比较均衡，数据量也在合理范围内。

　　　　　　　　　　　　　　　　　　　　　　

　　　　一、建立三个目录，分别存放两个mongod服务的数据文件和config服务的数据文件

　　　　二、开启config服务器 。mongos要把mongod之间的配置放到config服务器里面，因此首先开启它，这里就使用2222端口。 命令为：

　　　　　　 mongod --dbpath E:\sharding\config_node --port 2222

　　　　三、开启mongos服务器 。这里要注意的是咱们开启的是mongos，端口3333，同时指定下config服务器。命令为：

　　　　　　mongos --port 3333 --configdb=127.0.0.1:2222

　　　　四、启动mongod服务器 。对分片来讲，也就是要添加片了，这里开启两个mongod服务，端口分别为：4444，5555。命令为：

　　　　　　mongod --dbpath E:\sharding\mongod_node1 --port 4444 mongod --dbpath E:\sharding\mongod_node2 --port 5555

　　　　五、服务配置 。client直接跟mongos打交道，也就说明咱们要链接mongos服务器，而后将4444，5555的mongod交给mongos,添加分片也就是addshard()。

　　　　六、开启数据库分片功能，命令很简单 enablesharding(),这里就开启test数据库。

　　　　七、指定集合中分片的片键，这里就指定为person.name键。

　　　　八、经过mongos插入10w记录，而后经过printShardingStatus命令查看mongodb的数据分片状况。

 

使用java操做MongoDB

 

　　　　下载mongoDB对Java支持的驱动包 驱动包下载地址：https://github.com/mongodb/mongo-java-driver/downloads

　　　　一、查询集合中全部文档

　　　　　　　

　　　　二、删除集合中的文档

　　　　　　 

　　　　三、向集合中插入文档

　　　　　　

　　　　四、更新集合中的文档