一、LevelDB
LevelDb本质上是一套存储系统以及在这套存储系统上提供的一些操作接口。为了便于理解整个系统及其处理流程，我们可以从两个不同的角度来看待LevleDb：静态角度和动态角度。从静态角度，可以假想整个系统正在运行过程中（不断插入删除读取数据），此时我们给LevelDb照相，从照片可以看到之前系统的数据在内存和磁盘中是如何分布的，处于什么状态等；从动态的角度，主要是了解系统是如何写入一条记录，读出一条记录，删除一条记录的，同时也包括除了这些接口操作外的内部操作比如compaction，系统运行时崩溃后如何恢复系统等等方面。
本节所讲的整体架构主要从静态角度来描述，之后接下来的几节内容会详述静态结构涉及到的文件或者内存数据结构，LevelDb日知录后半部分主要介绍动态视角下的LevelDb，就是说整个系统是怎么运转起来的。
LevelDb作为存储系统，数据记录的存储介质包括内存以及磁盘文件，如果像上面说的，当LevelDb运行了一段时间，此时我们给LevelDb进行透视拍照，那么您会看到如下一番景象：
图1.1：LevelDb结构
从图中可以看出，构成LevelDb静态结构的包括六个主要部分：内存中的MemTable和Immutable MemTable以及磁盘上的几种主要文件：Current文件，Manifest文件，log文件以及SSTable(Sorted String table)文件。当然，LevelDb除了这六个主要部分还有一些辅助的文件，但是以上六个文件和数据结构是LevelDb的主体构成元素。
LevelDb的Log文件和Memtable与Bigtable论文中介绍的是一致的，当应用写入一条Key:Value记录的时候，LevelDb会先往log文件里写入，成功后将记录插进Memtable中，这样基本就算完成了写入操作，因为一次写入操作只涉及一次磁盘顺序写和一次内存写入，所以这是为何说LevelDb写入速度极快的主要原因。
Log文件在系统中的作用主要是用于系统崩溃恢复而不丢失数据，假如没有Log文件，因为写入的记录刚开始是保存在内存中的，此时如果系统崩溃，内存中的数据还没有来得及Dump到磁盘，所以会丢失数据（Redis就存在这个问题）。为了避免这种情况，LevelDb在写入内存前先将操作记录到Log文件中，然后再记入内存中，这样即使系统崩溃，也可以从Log文件中恢复内存中的Memtable，不会造成数据的丢失。
当Memtable插入的数据占用内存到了一个界限后，需要将内存的记录导出到外存文件中，LevleDb会生成新的Log文件和Memtable，原先的Memtable就成为Immutable Memtable，顾名思义，就是说这个Memtable的内容是不可更改的，只能读不能写入或者删除。新到来的数据被记入新的Log文件和Memtable，LevelDb后台调度会将Immutable Memtable的数据导出到磁盘，形成一个新的SSTable文件。SSTable就是由内存中的数据不断导出并进行Compaction操作后形成的，而且SSTable的所有文件是一种层级结构，第一层为Level 0，第二层为Level 1，依次类推，层级逐渐增高，这也是为何称之为LevelDb的原因。
SSTable中的文件是Key有序的，就是说在文件中小key记录排在大Key记录之前，各个Level的SSTable都是如此，但是这里需要注意的一点是：Level 0的SSTable文件（后缀为.sst）和其它Level的文件相比有特殊性：这个层级内的.sst文件，两个文件可能存在key重叠，比如有两个level 0的sst文件，文件A和文件B，文件A的key范围是：{bar, car}，文件B的Key范围是{blue,samecity}，那么很可能两个文件都存在key=”blood”的记录。对于其它Level的SSTable文件来说，则不会出现同一层级内.sst文件的key重叠现象，就是说Level L中任意两个.sst文件，那么可以保证它们的key值是不会重叠的。这点需要特别注意，后面您会看到很多操作的差异都是由于这个原因造成的。
SSTable中的某个文件属于特定层级，而且其存储的记录是key有序的，那么必然有文件中的最小key和最大key，这是非常重要的信息，LevelDb应该记下这些信息。Manifest就是干这个的，它记载了SSTable各个文件的管理信息，比如属于哪个Level，文件名称叫啥，最小key和最大key各自是多少。下图是Manifest所存储内容的示意：
图2.1：Manifest存储示意图
图中只显示了两个文件（manifest会记载所有SSTable文件的这些信息），即Level 0的Test1.sst和Tes2t.sst文件，同时记载了这些文件各自对应的key范围，比如Test1.sst的key范围是“abc”到“hello”，而文件Test2.sst的key范围是“bbc”到“world”，可以看出两者的key范围是有重叠的。
Current文件是干什么的呢？这个文件的内容只有一个信息，就是记载当前的manifest文件名。因为在LevleDb的运行过程中，随着Compaction的进行，SSTable文件会发生变化，会有新的文件产生，老的文件被废弃，Manifest也会跟着反映这种变化，此时往往会新生成Manifest文件来记载这种变化，而Current则用来指出哪个Manifest文件才是我们关心的那个Manifest文件。
Go语言demo：
import (
"fmt"
"github.com/syndtr/goleveldb/leveldb"
)
//for test
func write_leveldb() {
// db, err := leveldb.OpenFile("/home/brian/.tendermint/data", nil)
db, err := leveldb.OpenFile("./data/blockstore.db", nil)
if err != nil {
panic(err)
}
db.Put([]byte("id"), []byte("10000"), nil)
db.Close()
}
//for test
func read_leveldb() {
db, err1 := leveldb.OpenFile("./data/blockstore.db", nil)
if err1 != nil {
panic(err1)
}
ids, err2 := db.Get([]byte("id"), nil)
if err2 != nil {
panic(err2)
}
id := string(ids)
fmt.Println("read leveldb:", id)
db.Close()
}
func main() {
write_leveldb()
read_leveldb()
}
leveldb 作为一个 key-value 数据库，它和 redis 的区别在于不仅没有把所有的数据放在内存中，而是把大部分数据放在了磁盘中
leveldb 存数据的流程
- 先指定一块内存写数据（这块内存称为
MemTable），当占用的内存高于阈值后，将这块内存转为只读（这块只读内存称为Immutable MemTable） - 同时开辟一块新的内存（
MemTable）来写数据 - 然后异步将
Immutable MemTable的数据添加到存到磁盘中
二、BoltDB
bolt数据库的介绍
-
轻量级的、开源的
-
go语言实现的
- key->value进行读取（map）
每个抽屉相当于一个存储位置，每个抽屉在bolt中的类型为bucket（桶），我们在bucket层面操作数据。
demo演示
下载bolt数据库，放在GOPATH目录下
创建文件boltDemo.go，填写如下内容：
package main
import (
"bolt"
"os"
"fmt"
)
func main() {
//1. 打开数据库
db, err := bolt.Open("test.db", 0600, nil)
if err != nil {
fmt.Println("bolt.Open failed!", err)
os.Exit(1)
}
//2.写数据库
db.Update(func(tx *bolt.Tx) error {
bucket := tx.Bucket([]byte("firstBucket"))
var err error
if bucket == nil {
bucket, err = tx.CreateBucket([]byte("firstBucket"))
if err != nil {
fmt.Println("createBucket failed!", err)
os.Exit(1)
}
}
bucket.Put([]byte("aaaa"), []byte("HelloWorld!"))
bucket.Put([]byte("bbbb"), []byte("HelloItcast!"))
return nil
})
//3.读取数据库
var value []byte
db.View(func(tx *bolt.Tx) error {
bucket := tx.Bucket([]byte("firstBucket"))
if bucket == nil {
fmt.Println("Bucket is nil!")
os.Exit(1)
}
value = bucket.Get([]byte("aaaa"))
fmt.Println("aaaa => ", string(value))
value = bucket.Get([]byte("bbbb"))
fmt.Println("bbbb => ", string(value))
return nil
})
}