[大数据]Flume进阶----Agent内部原理

Agent内部原理

• 选择器

1. Replicating Channel Selector (default) ：副本选择器 默认开启
2. 将Source中的数据分发给所有的Channel
3. Multiplexing Channel Selector：多路选择器
4. 将数据有选择性的发给Channel

• 拦截器

1. 首先数据通Source进行接收，把数据封装到event中 从source向channel发
2. 通过拦截器在Source与Channel中进行拦截
3. 通过Interceptor拦截器将数据发给==Channel Selector ==选择器中
4. 然后将event写入到channel缓冲区中
5. 再将数据传输到SinkProcessor（Sink组）中
6. 再由SinkProcessor以分组的形式将数据分给不同的Sink组中

• Sink组

1. Flume Sink Processors：Sink组
2. 在默认的Sink组中只接收一个Sink，一个Channel只能发给一个Sink
3. Failover Sink Processor：故障转移Sink组(备胎)
4. 按照Sink的优先级进行发送（故障转移）
5. 首先定义一个Sink组
6. 在定义有哪些Sink
7. 把type换成failover
8. 再设置优先级
9. Load balancing Sink Processor：负载均衡
10. 用于缓解单台机器的压力
11. 原理：将channel发给多个Sink
12. 将不同时间进入channel中的数据分批分组的发给Sink中
13. type=load_balance
14. selector：负载均衡策略 channel将数据有序发给Sink（robin：轮询 将数据 排队的分发给Sink中），无序分发（random），自定义类去分发（FQCN）
15. backoff（退避算法：用来控制当某台Sink宕机时在第一次2的0次方秒内没有回应，就先向其他的Sink发送数据 ，等到了再次轮到他时 如果还在宕机 就在2的1次方秒后再次访问，以此往复 0 2 4 8 来实现对某台机器宕机时的一个测试 ）