kv analyze

Author: y123456yz

mongo/src/mongo/db/commands/dbcommands.cpp

@@ -235,6 +235,7 @@ class CmdRepairDatabase : public ErrmsgCommandDeprecated {
 
     CmdRepairDatabase() : ErrmsgCommandDeprecated("repairDatabase") {}
 
+	//CmdRepairDatabase::errmsgRun
     bool errmsgRun(OperationContext* opCtx,
                    const string& dbname,
                    const BSONObj& cmdObj,

mongo/src/mongo/db/commands/list_databases.cpp

@@ -80,6 +80,7 @@ class CmdListDatabases : public BasicCommand {
         out->push_back(Privilege(ResourcePattern::forClusterResource(), actions));
     }
 
+	//db.runCommand({ listDatabases : 1 })
     CmdListDatabases() : BasicCommand("listDatabases") {}
 
     bool run(OperationContext* opCtx,

mongo/src/mongo/db/repair_database.cpp

@@ -230,6 +230,7 @@ Status rebuildIndexesOnCollection(OperationContext* opCtx,
     return Status::OK();
 }
 
+////CmdRepairDatabase::errmsgRun
 Status repairDatabase(OperationContext* opCtx,
                       StorageEngine* engine,
                       const std::string& dbName,

mongo/src/mongo/db/storage/kv/kv_database_catalog_entry_base.cpp

@@ -149,6 +149,36 @@ bool KVDatabaseCatalogEntryBase::hasUserData() const {
     return !isEmpty();
 }
 
+//db.runCommand({ listDatabases : 1 })获取所有库的磁盘信息
+/*
+> db.runCommand({ listDatabases : 1 })
+{
+        "databases" : [
+                {
+                        "name" : "admin",
+                        "sizeOnDisk" : 32768,
+                        "empty" : false
+                },
+                {
+                        "name" : "config",
+                        "sizeOnDisk" : 73728,
+                        "empty" : false
+                },
+                {
+                        "name" : "local",
+                        "sizeOnDisk" : 77824,
+                        "empty" : false
+                },
+                {
+                        "name" : "test",
+                        "sizeOnDisk" : 90112,
+                        "empty" : false
+                }
+        ],
+        "totalSize" : 274432,
+        "ok" : 1
+}
+*/
 //磁盘数据大小=所有表的数据+所有表的索引总和
 int64_t KVDatabaseCatalogEntryBase::sizeOnDisk(OperationContext* opCtx) const {
     int64_t size = 0;
@@ -252,7 +282,7 @@ Status KVDatabaseCatalogEntryBase::createCollection(OperationContext* opCtx,
 
 	//WiredTigerKVEngine::createGroupedRecordStore(数据文件相关)  
 	//WiredTigerKVEngine::createGroupedSortedDataInterface(索引文件相关)
-	//调用WT存储引擎的create接口建表
+	//调用WT存储引擎的create接口建表，底层建索引表
     status = _engine->getEngine()->createGroupedRecordStore(opCtx, ns, ident, options, prefix);
     if (!status.isOK())
         return status;

mongo/src/mongo/db/storage/kv/kv_prefix.cpp

@@ -66,6 +66,7 @@ std::string KVPrefix::toString() const {
     return generateNextPrefix();
 }
 
+//groupCollection才会生效，参考KVPrefix KVPrefix::getNextPrefix
 /* static */ KVPrefix KVPrefix::generateNextPrefix() {
     stdx::lock_guard<stdx::mutex> lk(_nextValueMutex);
     return KVPrefix(_nextValue++);

mongo/src/mongo/db/storage/kv/kv_prefix.h

@@ -41,7 +41,7 @@ namespace mongo {
  * such allows multiple MongoDB collections share an underlying table. This can be a beneficial
  * tradeoff for workloads that create many collections.
  */
-//IndexCatalogEntryImpl._prefixΪ¸ÃÀàÐÍ
+//IndexCatalogEntryImpl._prefix为该类型   只有groupCollection才会生效，参考KVPrefix::getNextPrefix
 class KVPrefix {
 public:
     // Represents a table that is not grouped and should not have its keys prefixed.

mongo/src/mongo/db/storage/kv/kv_storage_engine.cpp

@@ -194,7 +194,7 @@ KVStorageEngine::KVStorageEngine(
 会有一份对应的WiredTiger需要的元数据维护在WiredTiger.wt表中。因此，事实上这里有两份数据表的列表，
 并且在某些情况下可能会存在不一致，比如，异常宕机的场景。因此MongoDB在启动过程中，会对这两份数据
 进行一致性检查，如果是异常宕机启动过程，会以WiredTiger.wt表中的数据为准，对_mdb_catalog表中的记录进行修正。这个过程会需要遍历WiredTiger.wt表得到所有数据表的列表。
-???? 这里说法有误，应该是以_mdb_catalog.wt为准--yangyazhou todo xxx
+???? 这里说法有误，应该是以_mdb_catalog.wt为准--yangyazhou todo xxx  感觉有点问题
 
 综上，可以看到，在MongoDB启动过程中，有多处涉及到需要从WiredTiger.wt表中读取数据表的元数据。
 对这种需求，WiredTiger专门提供了一类特殊的『metadata』类型的cursor。
@@ -240,7 +240,7 @@ StatusWith<std::vector<StorageEngine::CollectionIndexNamePair>>
     // Drop all idents in the storage engine that are not known to the catalog. This can happen in
     // the case of a collection or index creation being rolled back.
 
-    //把WiredTiger.wt中有，但是_mdb_catalog.wt中没用的元数据信息清除 
+    //把WiredTiger.wt中有，但是_mdb_catalog.wt中没有的元数据信息清除 
     for (const auto& it : engineIdents) {
 		log() << "yang test ....reconcileCatalogAndIdents...... ident: " << it;
 		//找到了相同的ident数据目录文件，继续下一个
@@ -256,6 +256,7 @@ StatusWith<std::vector<StorageEngine::CollectionIndexNamePair>>
         const auto& toRemove = it;
         log() << "Dropping unknown ident: " << toRemove;
         WriteUnitOfWork wuow(opCtx);
+		//WiredTigerKVEngine::dropIdent 删除对应ident文件
         fassertStatusOK(40591, _engine->dropIdent(opCtx, toRemove));
         wuow.commit();
     }
@@ -302,6 +303,8 @@ StatusWith<std::vector<StorageEngine::CollectionIndexNamePair>>
     return ret;
 }
 
+//ServiceContextMongoD::shutdownGlobalStorageEngineCleanly()调用
+//shutdown回收处理
 void KVStorageEngine::cleanShutdown() {
     for (DBMap::const_iterator it = _dbs.begin(); it != _dbs.end(); ++it) {
         delete it->second;
@@ -405,6 +408,7 @@ Status KVStorageEngine::dropDatabase(OperationContext* opCtx, StringData db) {
     return Status::OK();
 }
 
+//FSyncLockThread::run()调用  db.adminCommand( { fsync: 1, lock: true } )
 int KVStorageEngine::flushAllFiles(OperationContext* opCtx, bool sync) {
     return _engine->flushAllFiles(opCtx, sync);
 }
@@ -444,6 +448,7 @@ SnapshotManager* KVStorageEngine::getSnapshotManager() const {
     return _engine->getSnapshotManager();
 }
 
+////CmdRepairDatabase::errmsgRun
 Status KVStorageEngine::repairRecordStore(OperationContext* opCtx, const std::string& ns) {
     Status status = _engine->repairIdent(opCtx, _catalog->getCollectionIdent(ns));
     if (!status.isOK())
@@ -453,6 +458,7 @@ Status KVStorageEngine::repairRecordStore(OperationContext* opCtx, const std::st
     return Status::OK();
 }
 
+//ReplicationCoordinatorExternalStateImpl::startThreads
 void KVStorageEngine::setJournalListener(JournalListener* jl) {
     _engine->setJournalListener(jl);
 }

mongo/src/mongo/db/storage/kv/kv_storage_engine.h

@@ -334,6 +334,7 @@ class KVStorageEngine final : public StorageEngine {
     //对应数据目录的"_mdb_catalog.wt"相关操作  _mdb_catalog.wt存储元数据信息
     std::unique_ptr<KVCatalog> _catalog; 
 
+    //库名及其对应KVDatabaseCatalogEntryBase
     typedef std::map<std::string, KVDatabaseCatalogEntryBase*> DBMap;
     //DatabaseHolderImpl.dbs[]和KVStorageEngine._dbs[]的区别及联系：
     //1. DatabaseHolderImpl.dbs[]包含实例启动后使用过或者正在使用的DB信息

mongo/src/mongo/db/storage/wiredtiger/wiredtiger_kv_engine.cpp

@@ -998,7 +998,7 @@ Breakpoint 2, mongo::WiredTigerKVEngine::createGroupedSortedDataInterface (this=
 //DatabaseImpl::createCollection->IndexCatalogImpl::createIndexOnEmptyCollection->IndexCatalogImpl::IndexBuildBlock::init
 //->KVCollectionCatalogEntry::prepareForIndexBuild中执行
 
-//KVCollectionCatalogEntry::prepareForIndexBuild调用，创建索引对应wt session信息
+//KVCollectionCatalogEntry::prepareForIndexBuild调用，创建索引对应wt session信息，底层建索引表
 Status WiredTigerKVEngine::createGroupedSortedDataInterface(OperationContext* opCtx,
                                                             StringData ident,
                                                             const IndexDescriptor* desc,
@@ -1220,7 +1220,6 @@ bool WiredTigerKVEngine::_hasUri(WT_SESSION* session, const std::string& uri) co
 并且在某些情况下可能会存在不一致，比如，异常宕机的场景。因此MongoDB在启动过程中，会对这两份数据
 进行一致性检查，如果是异常宕机启动过程，会以WiredTiger.wt表中的数据为准，对_mdb_catalog表中的记录
 进行修正。这个过程会需要遍历WiredTiger.wt表得到所有数据表的列表。 
-???? 这里说法有误，表应该是以_mdb_catalog.wt为准  yangyazhou todo xxx
 
 综上，可以看到，在MongoDB启动过程中，有多处涉及到需要从WiredTiger.wt表中读取数据表的元数据。
 对这种需求，WiredTiger专门提供了一类特殊的『metadata』类型的cursor。