[大数据]HDFS常规操作

HDFS文件统计

1. 获取指定目录数据大小信息

hdfs dfs -du /user/hive/warehouse/ods.db/ > db_du

2. 获取指定目录修改时间信息

hdfs dfs -ls /user/hive/warehouse/udm.db/ > db_ls

3. 合并信息脚本

#!/usr/bin/perl
use strict;
my %table_du = map{my @m = split /\s+/;$m[0],$m[1]} `awk -F'[ /]' '{print tolower(\$NF),\$1}' db_du`;
my %table_ls = map{my @m = split /\s+/;$m[0],$m[1]} `awk '{print tolower(\$NF),\$6}' db_ls|awk -F\/ '{print \$NF}'`;

for (keys %table_du){
    print "$_|$table_du{$_}|$table_ls{$_}\n";
}

HDFS 过期文件清理

#shell脚本
#!/bin/bash
#cleanup hive session dir on hdfs named with Specify the directory
usage="Usage: hive-clean.sh [days]"
cleanup_dir="/tmp/hive/bduser"
echo "cleanup_dir on HDFS:  $cleanup_dir"
if [ ! "$1" ]; then
    echo $usage
    exit 1
fi
now=$(date +%s)
hadoop fs -ls $cleanup_dir | grep "^d" | while read f; do
    dir_date=$(echo $f | awk '{print $6}')
    difference=$((($now - $(date -d "$dir_date" +%s)) / (24 * 60 * 60)))
    if [ $difference -gt $1 ]; then
        echo $f
        # 此处直接对上边的过滤结果进行删除，建议先改成 hadoop fs -ls -R 命令先进行测试，一切正常在改回删除
        hadoop fs -ls -R $(echo $f | awk '{ print $8 }')
        #hadoop fs -rm -r -skipTrash $(echo $f | awk '{ print $8 }')
    fi
done

HDFS EC 存储冷数据

1. 查看原始数据量

hdfs dfs -du -s -h /user/hive/warehouse/np.db/user_info

统计结果

2.2 G 6.5 G /user/hive/warehouse/np.db/np_user_info

2. 新表目录设置EC

hdfs ec -setPolicy -policy RS-6-3-1024k -path /user/hive/warehouse/cold_data.db/np_user_info

3. 数据转移至新表

4. 查看新表数据量

hdfs dfs -du -s -h /user/hive/warehouse/cold_data.db/np_user_info

5. 统计结果

2.2 G 3.2 G /user/hive/warehouse/cold_data.db/np_user_info

HDFS datanode离线检测机制

检测机制
dfs.namenode.heartbeat.recheck-interval 默认300000 – 单位毫米 合计五分钟
dfs.heartbeat.interval - default: 3 seconds

如果使用默认值的话，当一台datanode的心跳消失30秒钟，namenode会认为这台datanode stale了。如果又过了10分钟（总共10.5分钟）还没有心跳，namenode会认定datanode死亡了。

timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval
= 10min + 30second = 10min 30sec

https://www.cnblogs.com/sx66/p/12605059.html

CDH 设置 datanode离线 40分钟内不进行数据迁移和平衡
hdfs-site.xml 的 HDFS 服务高级配置代码段（安全阀）

dfs.namenode.heartbeat.recheck-interval
1200000

(即20分钟)，失联检测时间=2 * 20min + 10 * 3 = 40min30

HDFS 的 datanode失联检测。移动机器为了保证不进行数据移动平衡，设置如上，保证40分钟内不进行失联迁移数据操作