[大数据]2021-11-14

flume 安装及配置(笔记）

1. 解压flume压缩文件

   tar -zxvf apach-flume-1.9.0-bin.tar.gz

2. 进入flume/conf下新建flume.conf文件，并输入以下内容

   //定义这个agent中各组件的名字

   a1.sources = r1

   a1.sinks = k1

   a1.channels = c1

   //描述和配置source组件：r1

   a1.sources.r1.type = netcat

   a1.sources.r1.bind = localhost <–

   a1.sources.r1.port = 44444

   //描述和配置sink组件：k1

   a1.sinks.k1.type = logger

   // 描述和配置channel组件，此处使用是内存缓存的方式

   a1.channels.c1.type = memory

   a1.channels.c1.capacity = 1000

   a1.channels.c1.transactionCapacity = 100

   //描述和配置source channel sink之间的连接关系

   a1.sources.r1.channels = c1

   a1.sinks.k1.channel = c1

3. 修改 flume-env.sh 文件

   cp flume-env.sh.tamplate flume-env.sh

   vi flume-env.sh

   增加：export JAVA_HOME=……

4. 配置环境变量(vi /etc/profile)

   输入以下内容

   export FLUME_HOME=/

   export PATH=$PATH:$FLUME_HOME/bin

5. 启动

   flume-ng agent -c conf -f /flume/conf/flume.conf -n a1 -Dflume.root.logger=INFO,console

6. 测试

   在另外一台可以和agent节点联网的机器上输入以下内容

   telnet ip port

   eg : telnet 192.168.43.11 10086