[大数据]阶段二，hadoop，6.优化及新特性

六、优化及新特性

1.集群安全模式：接收请求，不接受删除、修改

2.进入安全模式

• 元数据和块必须同时存在，否则集群会进入安全模式

3.退出安全模式

• 存活节点数

• block数

• 稳定时间

4.语法：bin/hdfs dfsadmin -safemode get、enter、leave、wait

5.namenode元数据丢失，可从SecondaryNamenode中copy

6.namenode元数据存放目录可配置多个：hdfs-site.xml中配置

• 磁盘间数据均衡

• hdfs diskbalancer -plan、execute、query、cancel

7.安全模式：

• 加载eth，fsimage

• 等待汇报块信息

• 等待30s

8.服役新服务器

• 虚拟机克隆

• 修改ip及主机名

• 删除hadoop中data、log

• 白名单添加新节点

• 刷新namenode：hdfs dfsadmin -refreshNodes

9.服务器间数据均衡

• start-balancer.sh threshold 10

• stop-balancer.sh?

10.名单

• ?白名单：集群上正常工作的节点

• ?黑名单：退役的节点

• 并配置hdfs-site.xml

• 节点退役时，会复制其中数据到其他节点

11.企业优化

• mapreduce：合并小文件（combineTextinputformat）、开启uber（打包成har，jvm重用）

• map：减少 spill次数（缓冲区），减少合并，先combine

• reduce：map、reduce共存，规避使用reduce

• io：采用压缩

• 数据倾斜：抽样检查、自定义分区、combiner

• 调整参数：mapred-default.xml、yarn-fefault.xml

12.集群之间数据复制：distcp hdfs://hadoop102:8020/文件 地址