LevelDB中数据文件的分目录存储
出于某种目的，你可能不想把levelDB的所有的文件都存到一个目录下： 我们希望的： level 0 -+ level 1 +–> DIR1 (DISK1) level 2 -+ —————————— level 3 -+ level 4 | … +–> DIR2 (DISK2) level N -+ 但是 levelDB 不支持类似的选项，只能将文件存到一个目录；而且不幸的是，levelDB由于频繁的compaction操作，带来了频繁的文件创建和删除，且每个level包含多个文件，不易这样改。 我想到的方法有两个：（1） 用基于levelDB改进的RocksDB，它支持多路径。（2）修改levelDB源代码。为了更简单的实现我们想要的分level存到不同目录的功能，我们从levelDB存储的最底层“创建文件”步骤，利用软链接进行修改。 本文将首先介绍levelDB的目录结构，然后分析给出介绍这两种文件更改路径方法。 1. 目录结构 创建一个DB后，和这个DB相关的所有数据都会放在一个文件夹的多个文件中。这些文件包括xxx.ldb、xxx.log、LOG、MANIFEST-xxx、LOCK、CURRENT等。这些解释在[1]中说的都很清楚，我可以用中文再解释一遍。 日志文件 xxx.log xxx.log文件包括是最近存储的数据序列，所以是大小是乱序的，当xxx.log文件达到一定的大小(默认4MB)，就会被转换成Sorted tables有序表文件。这个日志文件对应内存中当前的memtable，当这个memtable满了后，会被写到level-0，对应的xxx.log文件会被删除，新的xxx.log会被生成，对应于新的memtable。 有序表文件(SSTable) xxx.ldb SST是Sorted Strings Table的缩写，levelDB中，对应的文件格式是ldb。xxx.ldb文件中的KV记录是按key的大小排好序的。随着数据量增加，ldb文件有很多。但是，它们文件名前缀数字、文件大小都与所属的level无联系（文件名即文件大小都不包含level语义），所以我们无法从文件名和文件大小判断出某个文件中数据所处的level。不过，一个文件只可能属于一个level。 除level-0外，各个level的文件总大小是预先设定的，level-1 10MB，level-2 100MB， level-3 1000MB……；而level-0较特殊，其由文件个数限制，默认达到4个level-0 ldb文件就会merge到level-1中；而且，level-0中的数据可能有重叠存在。 清单文件 MANIFEST 我们从xxx.ldb文件名和大小无法判断其所属level，那么就要有一个额外的文件存储这些“元信息”。MANIFEST-xxx文件就负责存储哪个文件属于哪个level，每次打开这个DB，都会新建一个清单文件并标一个特殊的后缀作为标记，其中的内容也是以log-structured形式追加存储的。 当前文件 […]