[大数据]Hdfs相关

架构原理 配置 使用

1. 分布式文件系统和普通文件系统
2. Hdfs中的几个组件， 都有什么作用

Namenode：存储文件的元数据，接受来自客户端的读写请求

Datanode：存储文件数据

Seconderynamenode：第二名字节点，定期的检查并且合并fsimage系统快照，editlog编辑日志

1. hdfs默认存储几块，每块大小

3块 每块128M

1. secondeerynamenode和namenode之间的关系

1. secondeerynamenode引导namenode滚动跟新编辑日志文件，并开始将新的内容写入editlog.new
2. secondeerynamenode将namenode的FSimage和编辑日志文件复制到本地的检查点目录
3. secondeerynamenode载入FSimage文件，回放编辑日志，将其合并到FSimage，将新的写入磁盘
4. 将editlog.new重命名为editlog

1. hdfs的容错机制

心跳机制 副本机制

副本机制：每一个文件都会有2-3个副本存放datanode上

心跳机制：datanode会定时的发送心跳包给namenode，namenode如果没有接收心跳包就会认为datanode已经deadnamenode就会去找到相应的原数据找到其他的datanode上存放的备份的原数据，拷贝到新机器上。

6.hdfs配置核心配置文件和配置内容

Hadoop-env.sh JAVA_HOME HADOOP_HOME

Core_site.xml dfs.default.name

hdfs-site.xml?dfs.replication dfs.name.dir dfs.data.dir dfs.permissions.enabled

Slaver 配置完全分布系统时写主机名

1. hdfs的命令

创建目录 Hadoop fs -mkdir

删除目录 hadoop fs -redir

列出文件目录 Hadoop fs -ls

上传覆盖文件 Hadoop fs -put(-f)本地文件 上传路径 copyfromlocal

下载文件 Hadoop fs -get/copytolocal 文件地址本地文件地址

查看文件 Hadoop fs -cat

删除文件 Hadoop fs -rm

移动文件 Hadoop fs -mv