HBase性能优化 #

HBase性能优化方向
├── 写入优化
│   ├── 批量写入
│   ├── 预分区
│   └── MemStore调优
│
├── 读取优化
│   ├── BlockCache调优
│   ├── 布隆过滤器
│   └── 过滤器优化
│
├── 内存优化
│   ├── JVM调优
│   └── 堆内存分配
│
└── 存储优化
    ├── 压缩策略
    └── Compaction优化

// 批量写入优化
List<Put> puts = new ArrayList<>();
for (int i = 0; i < 1000; i++) {
    Put put = new Put(Bytes.toBytes("row" + i));
    put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes("value" + i));
    puts.add(put);
}
table.put(puts);  // 批量提交

# 建表时预分区
create 'user', 'info', SPLITS => ['10', '20', '30', '40']

# 或使用分区算法
create 'user', 'info', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

<!-- hbase-site.xml -->

<!-- MemStore大小 -->
<property>
    <name>hbase.hregion.memstore.flush.size</name>
    <value>268435456</value>  <!-- 256MB -->
</property>

<!-- 全局MemStore比例 -->
<property>
    <name>hbase.regionserver.global.memstore.size</name>
    <value>0.4</value>
</property>

<!-- 低水位比例 -->
<property>
    <name>hbase.regionserver.global.memstore.size.lower.limit</name>
    <value>0.95</value>
</property>

<!-- MemStore本地聚合 -->
<property>
    <name>hbase.regionserver.wal.enable.hlog</name>
    <value>true</value>
</property>

<!-- WAL优化 -->

<!-- WAL滚动大小 -->
<property>
    <name>hbase.regionserver.logroll.period</name>
    <value>3600000</value>  <!-- 1小时 -->
</property>

<!-- WAL最大文件数 -->
<property>
    <name>hbase.regionserver.maxlogs</name>
    <value>32</value>
</property>

<!-- 异步WAL（谨慎使用） -->
<!-- 在Put对象上设置 -->
// put.setDurability(Durability.ASYNC_WAL);

写入优化配置建议
├── 增大MemStore大小
│   └── 减少Flush频率
│
├── 增加Handler数量
│   └── 提高并发处理能力
│
├── 预分区
│   └── 避免热点和Region切分
│
└── 批量写入
    └── 减少网络开销

<!-- hbase-site.xml -->

<!-- BlockCache大小 -->
<property>
    <name>hfile.block.cache.size</name>
    <value>0.4</value>
</property>

<!-- 启用BucketCache -->
<property>
    <name>hbase.bucketcache.ioengine</name>
    <value>offheap</value>
</property>

<property>
    <name>hbase.bucketcache.size</name>
    <value>8192</value>  <!-- MB -->
</property>

<!-- L1/L2缓存 -->
<property>
    <name>hbase.blockcache.use.external</name>
    <value>true</value>
</property>

# 创建表时启用布隆过滤器
create 'user', {NAME => 'info', BLOOMFILTER => 'ROW'}

# ROW类型：根据RowKey过滤
# ROWCOL类型：根据RowKey+Column过滤

// Scan优化
Scan scan = new Scan();

// 设置缓存大小
scan.setCaching(100);  // 每次RPC返回100行

// 设置批量大小
scan.setBatch(100);  // 每行返回100列

// 关闭BlockCache（一次性扫描）
scan.setCacheBlocks(false);

// 只查询需要的列
scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"));

// 设置范围
scan.setStartRow(Bytes.toBytes("start"));
scan.setStopRow(Bytes.toBytes("end"));

# 使用过滤器减少传输
scan 'user', {FILTER => "PrefixFilter('user00')"}

# 使用SingleColumnValueFilter
scan 'user', {FILTER => "SingleColumnValueFilter('info', 'age', >, 'binary:20')"}

# 使用覆盖索引避免回表
scan 'user', {FILTER => "...", COLUMN => 'info:name'}

读取优化配置建议
├── 增大BlockCache
│   └── 提高缓存命中率
│
├── 启用布隆过滤器
│   └── 减少磁盘IO
│
├── 优化Scan
│   ├── 设置合理缓存
│   └── 关闭BlockCache（一次性扫描）
│
└── 使用过滤器
    └── 服务端过滤减少传输

# hbase-env.sh

# RegionServer内存
export HBASE_REGIONSERVER_OPTS="-Xmx32g -Xms32g"

# 年轻代大小
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:NewSize=8g -XX:MaxNewSize=8g"

# G1垃圾回收器
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:+UseG1GC -XX:MaxGCPauseMillis=50"

# GC日志
export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xloggc:/var/log/hbase/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps"

堆内存分配建议
├── 总堆内存
│   └── 建议32-64GB
│
├── MemStore
│   └── 40% 堆内存
│
├── BlockCache
│   └── 40% 堆内存
│
├── 其他
│   └── 20% 堆内存
│
└── 年轻代
    └── 25% 堆内存

<!-- 启用堆外内存 -->
<property>
    <name>hbase.offheapcache.percentage</name>
    <value>0.2</value>
</property>

<!-- BucketCache使用堆外内存 -->
<property>
    <name>hbase.bucketcache.ioengine</name>
    <value>offheap</value>
</property>

# 创建表时指定压缩
create 'user', {NAME => 'info', COMPRESSION => 'SNAPPY'}

# 修改压缩算法
alter 'user', {NAME => 'info', COMPRESSION => 'SNAPPY'}

# 触发Major Compaction使压缩生效
major_compact 'user'

<!-- hbase-site.xml -->

<!-- Minor Compaction文件数 -->
<property>
    <name>hbase.hstore.compaction.min</name>
    <value>3</value>
</property>

<property>
    <name>hbase.hstore.compaction.max</name>
    <value>10</value>
</property>

<!-- Major Compaction间隔 -->
<property>
    <name>hbase.hregion.majorcompaction</name>
    <value>604800000</value>  <!-- 7天 -->
</property>

<!-- Compaction线程数 -->
<property>
    <name>hbase.regionserver.thread.compaction.large</name>
    <value>2</value>
</property>

<property>
    <name>hbase.regionserver.thread.compaction.small</name>
    <value>4</value>
</property>

# 触发Major Compaction
major_compact 'user'

# 触发Minor Compaction
compact 'user'

# 对Region执行
major_compact 'region_encoded'

<!-- Region最大大小 -->
<property>
    <name>hbase.hregion.max.filesize</name>
    <value>10737418240</value>  <!-- 10GB -->
</property>

Region数量建议
├── 单RegionServer
│   └── 100-200个Region
│
├── 过多Region
│   ├── Master压力大
│   └── 文件句柄过多
│
└── 过少Region
    └── 负载不均衡

# 预分区避免热点
create 'user', 'info', SPLITS => ['10', '20', '30', '40']

<!-- RPC Handler数量 -->
<property>
    <name>hbase.regionserver.handler.count</name>
    <value>50</value>
</property>

<!-- 高优先级Handler -->
<property>
    <name>hbase.regionserver.metahandler.count</name>
    <value>20</value>
</property>

数据本地性优化
├── RegionServer与DataNode同节点
├── 启用短路读
└── 监控本地性指标

性能监控指标
├── 写入
│   ├── 写入QPS
│   ├── 写入延迟
│   └── MemStore使用率
│
├── 读取
│   ├── 读取QPS
│   ├── 读取延迟
│   └── BlockCache命中率
│
├── RegionServer
│   ├── CPU使用率
│   ├── 内存使用率
│   └── GC时间
│
└── 存储
    ├── Compaction队列长度
    ├── Flush队列长度
    └── 磁盘IO

# HBase Shell
status 'detailed'

# RegionServer指标
http://regionserver:16030

# Master指标
http://master:16010

# JMX监控
# 启用JMX后通过JConsole连接

问题：写入性能低
分析：
├── 检查MemStore使用率
├── 检查Flush频率
├── 检查WAL写入
└── 检查Region分布

优化：
├── 增大MemStore大小
├── 预分区避免热点
├── 批量写入
└── 增加Handler数量

问题：读取性能低
分析：
├── 检查BlockCache命中率
├── 检查Scan方式
├── 检查过滤器使用
└── 检查布隆过滤器

优化：
├── 增大BlockCache
├── 启用布隆过滤器
├── 优化Scan参数
└── 使用过滤器减少传输