mongo 开启慢查询分析

MongoDB 查询优化分析

摘要：

      在MySQL中，慢查询日志是常常做为咱们优化查询的依据，那在MongoDB中是否有相似的功能呢？答案是确定的，那就是开启Profiling功能。该工具在运行的实例上收集有关MongoDB的写操做，游标，数据库命令等，能够在数据库级别开启该工具，也能够在实例级别开启。该工具会把收集到的全部都写入到system.profile集合中，该集合是一个capped collection。更多的信息见：http://docs.mongodb.org/manual/tutorial/manage-the-database-profiler/

使用说明：

1：Profiling级别说明

0：关闭，不收集任何数据。
1：收集慢查询数据，默认是100毫秒。
2：收集全部数据

2：开启Profiling和设置

1：经过mongo shell:
#查看状态：级别和时间
drug:PRIMARY> db.getProfilingStatus() 
{ "was" : 1, "slowms" : 100 }
#查看级别
drug:PRIMARY> db.getProfilingLevel()   
1
#设置级别
drug:PRIMARY> db.setProfilingLevel(2)
{ "was" : 1, "slowms" : 100, "ok" : 1 }
#设置级别和时间
drug:PRIMARY> db.setProfilingLevel(1,200)
{ "was" : 2, "slowms" : 100, "ok" : 1 }

以上要操做要是在test集合下面的话，只对该集合里的操做有效，要是须要对整个实例有效，则须要在全部的集合下设置或则在开启的时候开启参数：
2：不经过mongo shell:
mongod --profile=1 --slowms=15
或则在配置文件里添加2行：
profile = 1
slowms = 300

3：关闭Profiling

# 关闭
drug:PRIMARY> db.setProfilingLevel(0)
{ "was" : 1, "slowms" : 200, "ok" : 1 }

4：修改“慢查询日志”的大小

#关闭Profiling
drug:PRIMARY> db.setProfilingLevel(0)
{ "was" : 0, "slowms" : 200, "ok" : 1 }
#删除system.profile集合
drug:PRIMARY> db.system.profile.drop()
true
#建立一个新的system.profile集合
drug:PRIMARY> db.createCollection( "system.profile", { capped: true, size:4000000 } )
{ "ok" : 1 }
#从新开启Profiling
drug:PRIMARY> db.setProfilingLevel(1)
{ "was" : 0, "slowms" : 200, "ok" : 1 }

注意：要改变Secondary的system.profile的大小，你必须中止Secondary，运行它做为一个独立的，而后再执行上述步骤。完成后，从新启动加入副本集。

慢查询(system.profile)说明：

经过下面的例子说明，更多信息见：http://docs.mongodb.org/manual/reference/database-profiler/

1：参数含义

drug:PRIMARY> db.system.profile.find().pretty()
{
    "op" : "query",    #操做类型，有insert、query、update、remove、getmore、command   
    "ns" : "mc.user",  #操做的集合
    "query" : {        #查询语句
        "mp_id" : 5,
        "is_fans" : 1,
        "latestTime" : {
            "$ne" : 0
        },
        "latestMsgId" : {
            "$gt" : 0
        },
        "$where" : "new Date(this.latestNormalTime)>new Date(this.replyTime)"
    },
    "cursorid" : NumberLong("1475423943124458998"),
    "ntoreturn" : 0,   #返回的记录数。例如，profile命令将返回一个文档（一个结果文件），所以ntoreturn值将为1。limit(5)命令将返回五个文件，所以ntoreturn值是5。

                        若是ntoreturn值为0，则该命令没有指定一些文件返回，由于会是这样一个简单的find()命令没有指定的限制。
    "ntoskip" : 0,     #skip()方法指定的跳跃数
    "nscanned" : 304,  #扫描数量
    "keyUpdates" : 0,  #索引更新的数量，改变一个索引键带有一个小的性能开销，由于数据库必须删除旧的key，并插入一个新的key到B-树索引
    "numYield" : 0,
    "lockStats" : {    #锁信息，R：全局读锁；W：全局写锁；r：特定数据库的读锁；w：特定数据库的写锁
        "timeLockedMicros" : {     #锁
            "r" : NumberLong(19467),
            "w" : NumberLong(0)
        },
        "timeAcquiringMicros" : {  #锁等待
            "r" : NumberLong(7),
            "w" : NumberLong(9)
        }
    },
    "nreturned" : 101,        #返回的数量
    "responseLength" : 74659, #结果字节长度
    "millis" : 19,            #消耗的时间（毫秒）
    "ts" : ISODate("2014-02-25T02:13:54.899Z"), #语句执行的时间
    "client" : "127.0.0.1",   #连接ip或则主机
    "allUsers" : [ ],     
    "user" : ""               #用户
}

 除上面外还有：

scanAndOrder：
scanAndOrder是一个布尔值，是True当一个查询不能使用的文件的顺序在索引中的排序返回结果：MongoDB中必须将其接收到的文件从一个游标后的文件进行排序。
若是scanAndOrder是False，MongoDB的可以使用这些文件的顺序索引返回排序的结果。

moved
更新操做在磁盘上移动一个或多个文件到新的位置。

代表本次update是否移动了硬盘上的数据，若是新记录比原记录短，一般不会移动当前记录，若是新记录比原记录长，那么可能会移动记录到其它位置，这时候会致使相关索引的更新.磁盘操做更多，加上索引

更新，会使得这样的操做比较慢.

nmoved：
文件在磁盘上操做。

nupdated：
更新文档的数目

getmore-这是一个getmore 操做，getmore一般发生在结果集比较大的查询时，第一个query返回了部分结果，后续的结果是经过getmore来获取的。

若是nscanned(扫描的记录数)远大于nreturned(返回结果的记录数)的话，要考虑经过加索引来优化记录定位了。responseLength 若是过大，说明返回的结果集太大了，这时要看是否只须要必要的字段。

2：平常使用的查询

#返回最近的10条记录
db.system.profile.find().limit(10).sort({ ts : -1 }).pretty()

#返回全部的操做，除command类型的
db.system.profile.find( { op: { $ne : 'command' } } ).pretty()

#返回特定集合
db.system.profile.find( { ns : 'mydb.test' } ).pretty()

#返回大于5毫秒慢的操做
db.system.profile.find( { millis : { $gt : 5 } } ).pretty()

#从一个特定的时间范围内返回信息
db.system.profile.find(
                       {
                        ts : {
                              $gt : new ISODate("2012-12-09T03:00:00Z") ,
                              $lt : new ISODate("2012-12-09T03:40:00Z")
                             }
                       }
                      ).pretty()

#特定时间，限制用户，按照消耗时间排序
db.system.profile.find(
                       {
                         ts : {
                               $gt : new ISODate("2011-07-12T03:00:00Z") ,
                               $lt : new ISODate("2011-07-12T03:40:00Z")
                              }
                       },
                       { user : 0 }
                      ).sort( { millis : -1 } )

总结：

      Profiling 功能确定是会影响效率的，可是不太严重，缘由是他使用的是system.profile 来记录，而system.profile 是一个capped collection 这种collection 在操做上有一些限制和特色，可是效率更高，因此在使用的时候能够打开该功能。