mongo 慢日志分析

一、背景

mongodb版本 3.2.5

说到mongo的慢日志分析，就不得不提到profile分析器，profile分析器将记录的慢日志写到system.profile集合下，这个集合是一个固定的集合。我们可以通过这个集合的查询，来了解当前的慢日志，进而对数据库进行优化

二、分析

在查询system.profile的时候，我们能够观察到所有的操作，包括remove,update,find等等都会被记录到system.profile集合中，该集合中包含了诸多信息，如：

{
   "op" : "query", //system.profile.op 代表了慢日志的种类，是查询，插入，更新，删除还是其它
   "ns" : "test.c",//该项表示了哪个库下面的哪个集合对应的慢日志
   "query" : {     //该项详细输出了慢日志的具体语句和行为
      "find" : "c",
      "filter" : {
         "a" : 1
      }
   },
   "keysExamined" : 2,//该项表明了为了找出最终的结果，mongo搜索了多少个索引key
   "docsExamined" : 2, //该项表明了为了找出最终的结果，mongo搜索了多少个文档
   "cursorExhausted" : true,//
   "keyUpdates" : 0,   //表明了有多个索引key在本次操作中被修改，更改索引key也会有少量的性能消耗，因为mongo不仅要删除旧key，还要插入新key到B-Tree中
   "writeConflicts" : 0, //写冲突发生的数量，例如update一个正在被别的update操作的文档
   "numYield" : 0, //为了让别的操作完成而屈服的次数，一般发生在需要访问的数据尚未被完全读取到内存中，mongo会优先完成在内存中的操作（冷数据？）
   "locks" : {  //比较多，见下文
      "Global" : {
         "acquireCount" : {
            "r" : NumberLong(2)
         }
      },
      "Database" : {
         "acquireCount" : {
            "r" : NumberLong(1)
         }
      },
      "Collection" : {
         "acquireCount" : {
            "r" : NumberLong(1)
         }
      }
   },
   "nreturned" : 2,//该操作最终返回的文档数
   "responseLength" : 108,//结果返回的大小，单位为bytes，该值如果过大，则需要考虑limit等方式减少输出结果。
   "millis" : 0, //该操作从开始到结束耗时多少，单位毫秒
   "execStats" : { //包含了一些该操作的统计信息，只有query类型才会显示
      "stage" : "FETCH", //包含了该操作的详细信息，例如是否用到了索引
      "nReturned" : 2,
      "executionTimeMillisEstimate" : 0,
      "works" : 3,
      "advanced" : 2,
      "needTime" : 0,
      "needYield" : 0,
      "saveState" : 0,
      "restoreState" : 0,
      "isEOF" : 1,
      "invalidates" : 0,
      "docsExamined" : 2,
      "alreadyHasObj" : 0,
      "inputStage" : {
         "stage" : "IXSCAN",
         "nReturned" : 2,
         "executionTimeMillisEstimate" : 0,
         "works" : 3,
         "advanced" : 2,
         "needTime" : 0,
         "needYield" : 0,
         "saveState" : 0,
         "restoreState" : 0,
         "isEOF" : 1,
         "invalidates" : 0,
         "keyPattern" : {
            "a" : 1
         },
         "indexName" : "a_1",
         "isMultiKey" : false,
         "isUnique" : false,
         "isSparse" : false,
         "isPartial" : false,
         "indexVersion" : 1,
         "direction" : "forward",
         "indexBounds" : {
            "a" : [
               "[1.0, 1.0]"
            ]
         },
         "keysExamined" : 2,
         "dupsTested" : 0,
         "dupsDropped" : 0,
         "seenInvalidated" : 0
      }
   },
   "ts" : ISODate("2015-09-03T15:26:14.948Z"),//该操作执行开始的时间
   "client" : "127.0.0.1", //发起请求的客户端ip。并显示出该客户端的ip或hostname
   "allUsers" : [ ],//哪个认证用户执行的操作
   "user" : ""}//是否认证用户执行该操作，如认证后使用其它用户操作，该项为空

system.profile.locks

在操作中产生的锁，锁的种类有多种，如下：

Global	Represents global lock.
MMAPV1Journal	Represents MMAPv1 storage engine specific lock to synchronize journal writes; for non-MMAPv1 storage engines, the mode forMMAPV1Journal is empty.
Database	Represents database lock.
Collection	Represents collection lock.
Metadata	Represents metadata lock.
oplog	Represents lock on the oplog.

锁的模式也有多种，如下：

Lock Mode	Description
R	Represents Shared (S) lock.
W	Represents Exclusive (X) lock.
r	Represents Intent Shared (IS) lock.
w	Represents Intent Exclusive (IX) lock.

system.profile.locks.acquireCoun

在各种不用的种类下，请求锁的次数

三、拓展

一个mongodb神器，mtools