[大数据]hadoop--HDFS_机架感知与网络拓扑节点距离计算

机架感知

1.什么是机架感知？
Hadoop集群中副本存储节点选择；

2.什么时候会涉及机架感知？
当Hadoop集群规模相当大的情况下，就要考虑机架感知；

3.机架感知需考虑哪些因素？分别说明。
1). 第一个副本选择本地机架，距离近，上传速度快；
2). 第二个副本选择远程机架的随机节点，保证数据的可靠性；
3). 第三个副本选择第二个副本所在机架的随机节点，而不是其他机架，是同时兼顾可靠性+效率；

网络拓扑–节点距离计算

问：在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据，最近距离如何计算？
答：两个节点到达最近的共同祖先的距离总和。

eg:

如图，5和9的共同祖先为6，所以5到9的距离为：3；

如图，1和5的共同祖先为6，所以他们的距离为4.