inux 下 HBase 冷数据处理
- 数据生命周期管理(TTL)
创建表时设置 TTL(数据自动过期):
列族f1的数据30天过期(单位:秒)
create 't1', {NAME => 'f1', TTL => 2592000}
批量删除冷数据:结合 Linux 定时任务,通过delete/truncate命令清理:
截断表(清空数据,保留表结构)
hbase shell> truncate 't1'
2. 冷热数据分离存储
Linux 下将 HBase 的热数据存储在 SSD(/data/hbase/hot),冷数据迁移到机械硬盘(/data/hbase/cold):
配置 HBase 的hbase-site.xml指定不同存储目录;
通过move命令将冷 Region 迁移到挂载机械硬盘的 RegionServer;
利用 HBase 的StoragePolicy特性,设置 HDFS 存储策略(如 COLD/ARCHIVE)。