[大数据]HBase--flush时机

Region级别-跨列族

Region的其中一个MemStore大小达到阈值(hbase.hregion.memstore.flush.size),该Region所有MemStore一起flush,写入HDFS.默认大小是128M

RegionServer级别

当一个RS内的全部MemStore使用内存总量所占比例达到了阈值(hbase.regionserver.global.memstore.upperLimit),那么会一起按Region的MemStore用量降序排列flush,直到降低到阈值(hbase.regionserver.global.memstore.lowerLimit)以下.

另有一个新的参数(hbase.regionserver.global.memstore.size) 设定了一个RS内全部MemStore的总大小阈值,默认大小为heap的40%,达到阈值以后就会阻塞更新请求,并开始RS级别的MemStore flush,和上述行为相同.

HLog-WAL文件

当region server 的WAL的log数量达到hbase.regionserver.global.memstore.size,该server上多个region的MenStore会被刷写到磁盘(按照时间顺序),以降低WAL的大小.否则会导致故障恢复时间过长.

手动触发