1、HDFS主从结构
hdfs分布式存储：->namenode（查看数据多大，分多少块，切分，查datanode哪个内存大）->存入datanode->数据备份副本
2、主节点，从节点
负责命名空间职责的节点成为主节点（master node）->namenode
存储位置：/usr/local/soft/hadoop-2.7.6/tmp/dfs/name/current
负责真是数据职责的节点成为从节点（slave node）->datanode
存储位置：/usr/local/soft/hadoop-2.7.6/tmp/dfs/data/current/BP-1463616091-192.168.163.110-1631865349165/
current/finalized/subdir0/subdir0
主节点负责管理文件系统的文件结构，从节点负责存储真实的数据，称为主从式结构（master-slaves）
3、hdfs架构分析
主从结构
主节点：可以有2个，namenode
从节点：有多个，datanode
namenode：
接受用户操作请求，是用户操作的入口
维护文件系统的目录结构，命名空间
datanode：
存储数据
4、Yarn结构
资源调度和管理平台
主从结构：
主节点：可以有2个，ResourceManager
从节点：多个，NodeManager
ResourceManager：
集群资源的分配与调度
mapReduce,Store,Spark等应用，必须实现ApplicationMaster接口，才能被RM管理
5、mapreduce
依赖磁盘io的批处理计算模型
主从结构：
主节点：只有一个MRAppMaster
从节点：task任务
MRAppMaster：
负责客户端提交的计算任务
把任务分给NodeManager的Container中执行，即任务调度
Container是YARN中资源的抽象，它封装了某个节点上一定量的资源（CPU和内存两类资源）
Container由ApplicationMaster向ResourceManager申请的，由ResouceManager中的资源调度器异步分配给ApplicationMaster
Container的运行是由ApplicationMaster向资源所在的NodeManager发起的
监控Container中Task的执行情况
Task负责：
处理数据
6、hadoop特点
（1）扩容能力(Scalable)：能可靠(reliably)地存储和处理PB级别的数据。如果数据量更大，存储不下了,再增加节点就可以了。
（2）成本低(Economical):可以通过普通机器组成的服务器集群来分发以及处理数据.这些服务器集群可达数千个节点。
（3）高效率(Efficient):通过分发计算程序,hadoop可以在数据所在节点上(本地)并行地(parallel)处理他们,这使得处理非常的迅速
（4）可靠性(Reliable):hadoop能够自动地维护数据的多份副本,并且在任务失败后能够自动地重新部署(redeploy)计算任务
7、hdfs结构
8、hadoop上数据持久化的原因
NameNode是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
文件包括：
fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。（整合之后的数据）
edits:操作日志文件，namenode启动后一些新增元信息日志。（操作步骤）
fstime:保存最近一次checkpoint的时间
9、secondarynamenode保存机制，处理元数据
每次将产生的新的edits数据与原来的fsimage合并替换原来的fsimage
合并触发机制
64M是输入的指令大小是64M，不是保存的文件数据大小
10、读取多副本文件过程
就近原则
11、RPC-远程过程调用协议
使用Java操作Hadoop，网络通信协议
12、数据存储–>读文件
就近原则 也需要看具体datanode的负载
（1）首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例
（2）DistributedFileSystem通过rpc获得文件的第一个block的locations，同一block按照副本数会返回多个locations，这些locations按照hadoop拓扑结构排序（远近），距离客户端近的排在前面.
（3）前两步会返回一个FSDataInputStream对象，该对象会被封装成FSInputStream对象，FSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方DFSInputStream 最会找出离客户端最近的datanode并连接。
（4）数据从datanode源源不断的流向客户端。
（5）如果第一块的数据读完了，就会关闭指向第一块的datanode连接，接着读取下一块。这些操作对客户端来说是透明的，客户端的角度看来只是读一个持续不断的流。
（6）如果第一批block都读完了，FSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的块都读完，这时就会关闭掉所有的流。
如果在读数据的时候，FSInputStream和datanode的通讯发生异常，就会尝试正在读的block的排第二近的datanode,并且会记录哪个datanode发生错误，剩余的blocks读的时候就会直接跳过该datanode。FSInputStream也会检查block数据校验和，如果发现一个坏的block,就会先报告到namenode节点，然后FSInputStream在其他的datanode上读该block的镜像
该设计的方向就是客户端直接连接datanode来检索数据并且namenode来负责为每一个block提供最优的datanode，namenode仅仅处理block location的请求，这些信息都加载在namenode的内存中，hdfs通过datanode集群可以承受大量客户端的并发访问。
13、数据存储–>写文件
先写入一个缓冲队列，（缓冲队列 数据写入datanode中时数据还会写入一个ack队列中备份，一旦数据丢失还有备份）
（1）客户端通过调用DistributedFileSystem的create方法创建新文件
（2）DistributedFileSystem通过RPC调用namenode去创建一个没有blocks关联的新文件，创建前，namenode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，namenode就会记录下新文件，否则就会抛出IO异常.
（3）前两步结束后会返回FSDataOutputStream的对象，象读文件的时候相似，FSDataOutputStream被封装成FSOutputStream.DFSOutputStream可以协调namenode和datanode。客户端开始写数据到FSOutputStream,FSOutputStream会把数据切成一个个小packet，然后排成队列data quene（队列，方便切分128）
（4）DataStreamer会去处理接受data queue，他先问询namenode这个新的block最适合存储的在哪几个datanode里，比如副本数是3，那么就找到3个最适合的datanode，把他们排成一个pipeline.DataStreamer把packet按队列输出到管道的第一个datanode中，第一个datanode又把packet输出到第二个datanode中，以此类推。
（5）FSOutputStream还有一个对列叫ack queue（类似监控，验证），也是有packet组成，等待datanode的收到响应，当pipeline中的所有datanode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。
如果在写的过程中某个datanode发生错误，会采取以下几步：
- pipeline被关闭掉；
- 为了防止丢包ack queue里的packet会同步到data queue里；
- 把产生错误的datanode上当前在写但未完成的block删掉；
4）block剩下的部分被写到剩下的两个正常的datanode中；
5）namenode找到另外的datanode去创建这个块的复制。当然，这些操作对客户端来说是无感知的。
（6）客户端完成写数据后调用close方法关闭写入流
（7）DataStreamer把剩余得包都刷到pipeline里然后等待ack信息，收到最后一个ack后，通知namenode把文件标示为已完成。
14、网络拓扑–节点距离计算
两个节点到达最近的 共同祖先的距离总和
15、副本节点的选择
第一个在client所处的节点上
第二个副本在另一个机架的随机一个节点
第三个副本在第二个副本所处机架的随机节点
16、HDFS文件块的大小（面试）
硬盘读写速度（一般128，大公司256）
17、Job提交任务的流程
