[大数据]Hadoop基础知识--Day01

1、HDFS的安全模式是指在安全模式下只能读不能写。

2、Hadoop-2.6.5集群中的HDFS的默认的数据块的大小是128M。

• 知识点：Hadoop2.x版本以前的默认数据块的大小是64M，到了Hadoop2.x版本以后。 默认的数据块大小就变成了128M，但是是可以更改的。

3、mrappmaster/yarnchild不是HDFS的守护进程。

• 知识点：HDFS有五大守护进程，分别为NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager

4、embed不是元数据内容（metadata content）

• 知识点：metadata content包括base、link、meta、noscript、template、style、script、title等。

5、sbin/hdfs dfsadmin -report这个命令组成是错误的。

• 知识点:sbin=shell bin所以都是.sh的脚本，hadoop namenode -formant是初始化集群的，bin/hadoop fs -cat /hadoopdata/my.txt显示文件。? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?基本命令链接：https://www.cnblogs.com/yifeiyu/p/11044290.html

6、dfs.replication是hdfs-site.xml中的配置。

• 知识点：hdfs-site.xml配置参数：https://blog.csdn.net/xiaoshunzi111/article/details/51221400

7、如果我们现有一个安装2.6.5版本的hadoop集群，在不修改默认配置的情况下存储200个每个200M的文本文件，请问最终会在集群中产生1200个数据块（包括副本）。

• 知识点：在默认情况下，HDFS集群默认存储文件3份，并且大文件会按照128M的数据块大小进行切割分散存储。所以题目中每个文件分为两块，总数据块有（200 * 2）= 400个。再加上会存储三份，所以 400 * 3 = 1200

8、Hadoop-2.6.5集群中的HDFS的默认的副本块的个数是2。

• HDFS集群采取分散存储 + 冗余存储的策略，用户上到HDFS集群的文件，HDFS集群会为它存储多份。默认是3份，一份原件，两个副本

9、现在在hadoop集群当中的配置文件中有这么两个配置，请问假如集群当中有一个节点宕机，主节点namenode需要34秒时间才能感知到？
<property>
<name>dfs.heartbeat.interval</name>
<value>3</value>
</property>
<property>
<name>heartbeat.recheck.interval</name>
<value>2000</value>
</property>

• 知识点：HDFS集群的datnaode掉线超时时长的计算公式为： timeout = 10 * dfs.heartbeat.interval + 2 * heartbeat.recheck.interval，不过heartbeat.recheck.interval的单位是ms，dfs.heartbeat.interval的单位是s

10、Hdoop技术中HDFS适合存储大量的小文件是错误的。

• 知识点：HDFS不适合大量小文件的存储，因namenode将文件系统的元数据存放在内存中，因此存储的文件数目受限于 namenode的内存大小。HDFS中每个文件、目录、数据块占用150Bytes。如果存放的文件数目过多的话会占用很大的内存，可以使用归约和压缩的方式进行解决。另外，HDFS是一个分布式文件系统，Hdoop是一个联盟链以及HDFS存储空间由数据节点数决定。