HDFS
前言
课程笔记
1.HDFS定义
1. 说明：一台电脑存不下海量数据，就必须分配到多台机器上存储。
多台机器不方便管理和维护，就需要一种系统来管理多台机器的文件---分布式系统。
2. 使用场景：适合一次写入，多次读取的场景。
2. HDFS优缺点
1. 优点
1. 高容错性
数据自动保存为多副本形式，它通过增加副本的形式，提高容错性。
某个副本丢失后，它可以自动恢复
2. 适合处理大数据。
1. 数据规模：能够处理数据规模达到GB、TB、PB级别的数据。
2. 文件规模：能够处理百万规模以上的文件数量。
3. 可构建在廉价的机器上，通过多副本机制，提高可靠性。（便宜....）
2. 缺点
1. 不适合低延时数据访问——毫秒级的存储数据，是做不到的。
2. 无法高效的对大量小文件进行存储。
存储大量小文件时，会占用NameNode的内存来存储文件信息和块信息，因为NameNode的内存是有限的。所以不好。
小文件的存储的寻址时间会超过读取时间，违反了 HDFS的设计目标。
3. 不支持并发写入和文件修改，只支持追加（append），并且不允许多线程的写入。
3. HDFS架构
1. NameNode（nn）：管理者
1. 管理HDFS的名称空间、配置副本策略、管理数据块（Block）映射信息、处理客户端读写请求。
2. DataNode：执行者（执行管理者的命令）
1. 存储实际的数据块、执行数据块的读/写操作。
3. Secondary NameNode：当NameNode挂掉时，并不能马上替换NameNode并提供服务
1. 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode。
2. 在紧急情况下，可辅助恢复NameNode。
4. Client：客户端
1. 文件切分——上传HDFS时，客户端将文件切分成一个一个的数据块，然后上传。
2. 与NameNode、DataNode交互。
3. 提供命令管理和访问HDFS。
4. HDFS文件块大小（面试重点☆）
1. Block在Hadoop2.x/3.x中默认大小为128MB，在Hadoop1.x中为64MB。
2. 寻址时间为传输时间的1%时，为最佳状态。（☆）
3. 思考：为什么块的大小不能设置太小或太大。
1. 太小，会增加寻址时间。
2. 太大，从磁盘传输数据时间就会大于定位这个块开始位置所需的时间。
总结：HDFS块的大小设置取决于磁盘传输速率。
5. HDFS的Shell操作（开发重点☆）
1. 语法——hadoop fs 或 hdfs dfs：帮助命令 hadoop fs -help rm
2. hadoop fs常用命令：
剪切：hadoop fs -moveFromLocal computer.txt（文件名字） /huade（HDFS上的文件目录）
拷贝：hadoop fs -copyFromLocal bigdata.txt /huade
上传：hadoop fs -put bigdata.txt /huade（生产环境惯用）
下载：hadoop fs -get /huade/computer.txt ./com.txt（生产环境惯用）
追加：hadoop fs -appendToFile a.txt /huade/b.txt（追加到文件末尾）
hadoop fs -ls /huade（显示目录信息）
hadoop fs -cat /huade/computer.txt（显示文件内容）
hadoop fs -chmod 777 /huade/computer.txt（修改文件权限）
hadoop fs -chown test:test /huade/computer.txt（修改文件权限）
hadoop fs -mkdir /xueyuan（创建目录）
hadoop fs -cp /huade/computer.txt /xueyuan（复制文件到另一个路径）
hadoop fs -mv /huade/computer.txt /xueyuan（剪切文件到另一个路径）
hadoop fs -tail /huade/computer.txt（显示一个文件的末尾1kb数据）
hadoop fs -rm /huade/computer.txt（删除一个文件）
hadoop fs -rm -r /huade（递归删除目录及目录里的内容）
hadoop fs -du -s -h /huade（统计文件夹大小信息）
hadoop fs -du -h /huade（统计文件夹大小信息）
hadoop fs -setrep 10 /huade/computer.txt （设置副本的数量）
总结
后续会一点点补充的！！！！
|