| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> HBase性能优化 -> 正文阅读 |
|
[大数据]HBase性能优化 |
一:数据库表数据优化 (I)预创建HRegion 。
1
.手动设定预分区
2.生成 16 进制序列预分区
3.按照文件中设置的规则预分区
创建
splits.txt
文件内容如下:
然后执行:
4.使用 JavaAPI 创建预分区
//
自定义算法,产生一系列
hash
散列值存储在二维数组中
1
.生成随机数、
hash
、散列值
2
.字符串反转
3
.字符串拼接
(3)列族的限制。 二:数据库读写优化 调用HTable.setScannerCaching(int scannerCaching)可以设置Hbase扫描一次从服务端抓取的数条数。通过将此值设置成一个合理的值,可以减少扫描过程next()的时间花销,代价是扫描需要通过客户端的内存来维持这些被缓存的行记录。扫描时指定需安的 Coumn Family,可以减少网络传输数据量,否则默认扫描操作会返回整行所有Column family 数据。通过扫描取完数据后,要及时关闭 ResultScanner,否则HRegionServer可能会出现回题(对应的Server资源无法释放)。
1
.允许在
HDFS
的文件中追加内容
hdfs-site.xml
、
hbase-site.xml
2
.优化
DataNode
允许的最大文件打开数
hdfs-site.xml
3
.优化延迟高的数据操作的等待时间
hdfs-site.xml
4
.优化数据的写入效率
mapred-site.xml
5
.设置
RPC
监听数量
6
.优化
HStore
文件大小
hbase-site.xml
7
.优化
HBase
客户端缓存
hbase-site.xml
8
.指定
scan.next
扫描
HBase
所获取的行数
hbase-site.xml
9
.
flush
、
compact
、
split
机制
|
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2024年11日历 | -2024/11/24 3:49:46- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |