01.HDFS的读写流程
02.Hive的内部组成模块，作用分别是什么
1．元数据：Metastore
元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；
2．默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore 元数据存储
（1）解析器（SQL Parser）：解析HQL语义
（2）编译器（Physical Plan）：将HQL根据语义转换成MR程序
（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。（对MR程序进行优化）
（4）执行器（Execution）：把任务提交到hadoop集群
03.Hbase详细架构
04.Kafka的架构
05.Kafka分区和消费组内的消费者之间的关系有哪些情况？
Partition = 消费任务的并发度=刚刚好，每个任务读取一个partition数据
Partition > 消费任务的并发度=有部分消费任务读取多个分区的数据
Partition < 消费任务的并发度=有部分消费任务空闲(可以创建多于分区的消费者数量)
06.Kafka如何保证数据不丢失
1、生产者如何保证数据不丢失？？ 通过ack 机制确保数据不丢失。
2、kafka集群如何保证数据不丢失？？ 通过数据副本保证数据不丢失。
3、消费者如何保证数据不丢失？？ 通过维护数据的offset 保证数据不丢失。
07.Yarn的调度器有哪些？
08.Flink time
09.Flink 窗口
10.Flink watermark 如何处理乱序数据
|