当时场景
节点从Kafka中拿取数据放入HDFS中 Source : org.apache.flume.source.kafka.KafkaSource Channel : Sink : hdfs
软件版本
Flume:flume1.9.0 Haoop:hadoop3.1.1 Kafka:kafka_2.11-2.4.1
错误信息

解决办法
我在网上搜了很多,原因是jar包冲突,这点确实,他们的解决办法都是让把Hadoop的hadoop-3.1.3/share/hadoop/common/lib/guava-27.0-jre.jar拷贝到Flume的flume-1.9.0/lib中,并删除Flume自带的flume-1.9.0/lib/guava-11.0.2.jar,但是我这样操作后还是报上面的错误。
后面我把Kafka的kafka_2.11-2.4.1/libs/guava-20.0.jar拷贝到Flume的flume-1.9.0/lib中,并删除Flume自带的flume-1.9.0/lib/guava-11.0.2.jar(如果你拷贝Hadoop的那一步也执行了,另需要删除guava-27.0-jre.jar),之后重启Flume,问题解决!
|