IT数码 购物 网址 头条 软件 日历 阅读 图书馆
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁
 
   -> 大数据 -> hbase hbck使用介绍 -> 正文阅读

[大数据]hbase hbck使用介绍

hbase hbck

1、简介

hbck工具可以检测hbase集群的region一致性和完整性,同时可以修复损坏的集群数据

工作模式两种:一致性检测只读模式,和多阶段修复模式

2、集群的一致性状态

1)region一致性

集群中所有region都被assign,且region在Master内存、ZK和hbase:meta表三个地方一致

2)表完整性

集群中的任意一张表,每个rowkey都仅能存在于一个region区间中

3、集群一致性状态检测

1)命令

hbase hbck

一般集群规模较大尽量不要直接执行,最好是对表进行扫描,直接在命令后加表名即可,多个表直接空格隔开

返回结果为Status: INCONSISTENT 或者Status: OK ;

如果region在move、split、merger时,执行命令是会显示有问题的,所以最好多次执行看

2)常用参数

-details 可以输出更详细的信息

-summary 只打印表和状态的的概要信息

-metaonly 只检查hbase:meta表的状态

4、修复参数

1)修复思路

修复后。使得Region的状态在。regioninfo文件、Master内存、ZK临时节点和hbase:meta表中数据一致

2)常用修复参数

? -fixAssignments 用来修复region的分配,assign问题,如果有region没有assign或者同时assign到多台RS上等问题

? -fixMeta 用来修复元数据,即HDFS上和元数据表中记录不一致问题,原则上是认为HDFS是正确的,即如果HDFS中有这个region,元数据表中没有,就在元数据表中添加,如果元数据表多了,就删除

? -noHdfsChecking 不从hdfs上检查region信息,即假设meta表示正确的

? -fixHdfsHoles 修复hdfs中的region黑洞,一般会和-fixAssignments -fixMeta参数一起用,或者使用

-repairHoles参数等同于 这三个参数同时使用

? -fixRITAssignment 修复长RIT region

? -repair 如果不知道用什么参数的话,就用这个参数,包含了常用的修复参数,也包含个高危操作

? -help 。。。。。

### 3)慎用参数

? -checkCorruptHFiles 检查所有Hfile,通过逐一打开Hfile来确定是否可用

? -sidelineCorruptHFiles 隔离损坏的Hfile,这个参数包含上一个check参数

? -fixTableLocks 删除已持有超长时间的table lock,默认是10分钟

? -fixOrphanedTableZnodes 如果表不存在,则在ZK中将ZNOde的状态设置disabled

?

5、修复案例

1)hbase.version文件丢失

1>现象

集群启动时候会加载hdfs上的这个文件,如果丢失,集群或者损坏,系统就不能启动

2>解决思路

hbase hbck -fixVersionFile

对hbase.version修复或者生成

  大数据 最新文章
实现Kafka至少消费一次
亚马逊云科技:还在苦于ETL?Zero ETL的时代
初探MapReduce
【SpringBoot框架篇】32.基于注解+redis实现
Elasticsearch:如何减少 Elasticsearch 集
Go redis操作
Redis面试题
专题五 Redis高并发场景
基于GBase8s和Calcite的多数据源查询
Redis——底层数据结构原理
上一篇文章      下一篇文章      查看所有文章
加:2021-12-23 15:49:12  更:2021-12-23 15:49:39 
 
开发: C++知识库 Java知识库 JavaScript Python PHP知识库 人工智能 区块链 大数据 移动开发 嵌入式 开发工具 数据结构与算法 开发测试 游戏开发 网络协议 系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁

360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 -2024/11/24 12:50:00-

图片自动播放器
↓图片自动播放器↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT数码