RocksDB MemTable #

MemTable特点：
├── 内存存储 - 数据存储在内存中
├── 有序结构 - 按键排序
├── 写入缓冲 - 批量刷盘减少IO
└── 并发安全 - 支持多线程访问

写入流程：
写入请求 → WAL → MemTable → Immutable MemTable → SST文件

                    写入
                      │
                      ▼
┌─────────────────────────────────────┐
│           Active MemTable           │
│          (接收写入)                  │
└────────────────┬────────────────────┘
                 │ 写满后转换
                 ▼
┌─────────────────────────────────────┐
│         Immutable MemTable          │
│          (等待Flush)                 │
└────────────────┬────────────────────┘
                 │ 后台Flush
                 ▼
┌─────────────────────────────────────┐
│            SST Files                │
│          (磁盘存储)                  │
└─────────────────────────────────────┘

跳表结构示例：

Level 4:     Head ─────────────────────────────→ Tail
              │                                   │
Level 3:     Head ─────→ Node3 ──────────────→ Tail
              │           │                       │
Level 2:     Head ─→ Node1 ─→ Node3 ─→ Node5 ─→ Tail
              │        │        │        │       │
Level 1:     Head ─→ Node1 ─→ Node2 ─→ Node3 ─→ Node4 ─→ Node5 ─→ Tail
              │        │        │        │        │        │
Level 0:     Head ─→ Node1 ─→ Node2 ─→ Node3 ─→ Node4 ─→ Node5 ─→ Tail
                     (key1)   (key2)   (key3)   (key4)   (key5)

特点：
- 多层索引结构
- 随机决定节点高度
- 查找、插入复杂度 O(log n)

查找操作：
1. 从最高层开始
2. 向右移动直到下一个节点 > 目标
3. 下降一层
4. 重复直到找到或到达底层

插入操作：
1. 查找插入位置
2. 随机决定新节点高度
3. 更新各层指针

删除操作：
1. 查找目标节点
2. 更新各层指针

#include <rocksdb/options.h>

rocksdb::Options GetMemTableOptions() {
    rocksdb::Options options;
    
    // MemTable大小
    options.write_buffer_size = 64 * 1024 * 1024;  // 64MB
    
    // 最大MemTable数量
    options.max_write_buffer_number = 4;
    
    // 最小合并MemTable数量
    options.min_write_buffer_number_to_merge = 2;
    
    return options;
}

MemTable内存占用 = write_buffer_size × max_write_buffer_number

示例：
write_buffer_size = 64MB
max_write_buffer_number = 4

最大内存占用 = 64MB × 4 = 256MB

注意：还需要考虑：
- 跳表索引开销（约10-20%）
- 键值存储开销

MemTable状态转换：

Active MemTable
    │
    │ 写满（达到write_buffer_size）
    ▼
Immutable MemTable
    │
    │ 后台Flush完成
    ▼
SST文件（磁盘）
    │
    │ MemTable释放
    ▼
内存回收

// 触发条件
options.write_buffer_size = 64 * 1024 * 1024;  // 64MB

// 当MemTable大小达到write_buffer_size时：
// 1. 当前MemTable转为Immutable
// 2. 创建新的Active MemTable
// 3. 后台线程执行Flush

// 额外触发条件
options.max_write_buffer_number = 4;
// 当MemTable数量达到max_write_buffer_number时：
// 可能触发写入限速或停止

写入限速机制：

Level 0文件数量触发：
- level0_slowdown_writes_trigger: 开始限速
- level0_stop_writes_trigger: 停止写入

MemTable数量触发：
- max_write_buffer_number: 停止写入

限速效果：
- 降低写入速度
- 等待Flush完成
- 防止内存溢出

#include <rocksdb/options.h>
#include <rocksdb/memtablerep.h>

// 默认使用跳表
rocksdb::Options options;
options.memtable_factory.reset(new rocksdb::SkipListFactory());

#include <rocksdb/memtablerep.h>

// 向量MemTable，适合小数据量
rocksdb::Options options;
options.memtable_factory.reset(new rocksdb::VectorRepFactory());

#include <rocksdb/memtablerep.h>

// 哈希跳表，适合前缀查询
rocksdb::Options options;
options.memtable_factory.reset(
    rocksdb::NewHashSkipListRepFactory(10000)  // bucket数量
);
options.prefix_extractor.reset(
    rocksdb::NewFixedPrefixTransform(5)  // 前缀长度
);

#include <rocksdb/memtablerep.h>

// 哈希链表，内存效率更高
rocksdb::Options options;
options.memtable_factory.reset(
    rocksdb::NewHashLinkListRepFactory(10000)  // bucket数量
);

#include <rocksdb/options.h>

// 根据写入负载调整
rocksdb::Options GetOptimizedOptions() {
    rocksdb::Options options;
    
    // 高吞吐场景
    options.write_buffer_size = 128 * 1024 * 1024;  // 128MB
    options.max_write_buffer_number = 6;
    
    // 低延迟场景
    // options.write_buffer_size = 32 * 1024 * 1024;  // 32MB
    // options.max_write_buffer_number = 3;
    
    return options;
}

#include <rocksdb/options.h>

rocksdb::Options GetFlushOptions() {
    rocksdb::Options options;
    
    // 后台Flush线程数
    options.max_background_flushes = 2;
    
    // 后台任务总数
    options.max_background_jobs = 4;
    
    // Flush触发阈值
    options.level0_file_num_compaction_trigger = 4;
    
    return options;
}

#include <rocksdb/options.h>

rocksdb::Options GetMemoryOptimizedOptions() {
    rocksdb::Options options;
    
    // 限制MemTable数量
    options.max_write_buffer_number = 2;
    
    // 及时Flush
    options.min_write_buffer_number_to_merge = 1;
    
    // 使用内存效率高的MemTable
    options.memtable_factory.reset(
        rocksdb::NewHashLinkListRepFactory(10000)
    );
    
    return options;
}

#include <rocksdb/db.h>
#include <iostream>

void PrintMemTableStats(rocksdb::DB* db) {
    uint64_t value;
    
    // 当前MemTable数量
    db->GetIntProperty("rocksdb.num-immutable-mem-table", &value);
    std::cout << "Immutable MemTables: " << value << std::endl;
    
    // MemTable内存使用
    db->GetIntProperty("rocksdb.cur-size-all-mem-tables", &value);
    std::cout << "MemTable memory: " << value / 1024 / 1024 << " MB" << std::endl;
    
    // 活跃MemTable数量
    db->GetIntProperty("rocksdb.num-active-mem-table", &value);
    std::cout << "Active MemTables: " << value << std::endl;
}

#include <rocksdb/db.h>
#include <rocksdb/statistics.h>

void EnableStatistics(rocksdb::Options& options) {
    options.statistics = rocksdb::CreateDBStatistics();
    
    // 设置统计级别
    options.statistics->set_stats_level(rocksdb::StatsLevel::kAll);
}

void PrintStatistics(rocksdb::DB* db) {
    rocksdb::Statistics* stats = db->GetOptions().statistics.get();
    
    // MemTable相关统计
    uint64_t memtable_hit = stats->getTickerCount(rocksdb::MEMTABLE_HIT);
    uint64_t memtable_miss = stats->getTickerCount(rocksdb::MEMTABLE_MISS);
    
    std::cout << "MemTable hit: " << memtable_hit << std::endl;
    std::cout << "MemTable miss: " << memtable_miss << std::endl;
}

写入流程：

写入请求
    │
    ▼
写入WAL（可选）
    │
    ▼
写入MemTable
    │
    ▼
返回成功

关系：
- WAL保证持久性
- MemTable提供内存缓冲
- 两者共同保证数据安全

#include <rocksdb/options.h>

rocksdb::Options GetWALOptions() {
    rocksdb::Options options;
    
    // WAL设置
    options.WAL_ttl_seconds = 0;  // WAL文件保留时间
    options.WAL_size_limit_MB = 0;  // WAL大小限制
    
    // 禁用WAL（提高性能，但可能丢数据）
    // rocksdb::WriteOptions write_options;
    // write_options.disableWAL = true;
    
    return options;
}