1.什么是NIFI?
- Apache NIFI是一个易于使用，功能强大且可靠的数据拉去，数据处理和分发系统
- NIFI原本是NSA的一个项目，目前代码已经开源，是Apache开源基金会的顶级项目之一
- NIFI是基于JAVA的，使用Maven管理支持包
- NIFI基于web方式工作，无需编写代码，图像化操作数据流
2. NIFI安装
官方下载地址：https://nifi.apache.org/download.html
这里的tar.gz是linux下的安装包，Windows用户下载zip包安装即可。
#先把安装包放在/opt/software/下，直接解压即可
[linfei@localhost ~]$ cd /opt/software/
[linfei@localhost software]$ tar zxvf nifi-1.13.2-bin.tar.gz -C /opt/module
[linfei@localhost software]$ cd ../module/
[linfei@localhost module]$ ls
hadoop-3.1.3 kafka nifi-1.9.2 zookeeper-3.5.7
jdk1.8.0_212 nifi-1.13.2 spark-yarn
#这里我安装了两个版本的nifi
#配置nifi.properties文件
[linfei@localhost module]$ cd nifi-1.9.2/
[linfei@localhost nifi-1.9.2]$ ls
bin docs LICENSE README
conf extensions logs run
content_repository flowfile_repository NOTICE state
database_repository lib provenance_repository work
[linfei@localhost nifi-1.9.2]$ cd conf
[linfei@localhost conf]$ ls
archive logback.xml
authorizers.xml login-identity-providers.xml
bootstrap.conf nifi.properties
bootstrap-notification-services.xml state-management.xml
flow.xml.gz zookeeper.properties
[linfei@localhost conf]$ vim nifi.properties
只修改host和port即可：
# web properties #
nifi.web.war.directory=./lib
#只修改host和port即可
nifi.web.http.host=192.168.5.170
nifi.web.http.port=58080
nifi.web.http.network.interface.default=
nifi.web.https.host=
nifi.web.https.port=
nifi.web.https.network.interface.default=
nifi.web.jetty.working.directory=./work/jetty
nifi.web.jetty.threads=200
nifi.web.max.header.size=16 KB
nifi.web.proxy.context.path=
nifi.web.proxy.host=
启动NIFI：
#首先进入nifi的安装目录
[linfei@localhost nifi-1.9.2]$ ls
bin docs LICENSE README
conf extensions logs run
content_repository flowfile_repository NOTICE state
database_repository lib provenance_repository work
#启动命令
[linfei@localhost nifi-1.9.2]$ ./bin/nifi.sh start
Java home: /opt/module/jdk1.8.0_212
NiFi home: /opt/module/nifi-1.9.2
Bootstrap Config File: /opt/module/nifi-1.9.2/conf/bootstrap.conf
#查看nifi状态
[linfei@localhost nifi-1.9.2]$ ./bin/nifi.sh status
Java home: /opt/module/jdk1.8.0_212
NiFi home: /opt/module/nifi-1.9.2
Bootstrap Config File: /opt/module/nifi-1.9.2/conf/bootstrap.conf
2021-10-08 20:10:09,380 INFO [main] org.apache.nifi.bootstrap.Command Apache NiFi is currently running, listening to Bootstrap on port 38787, PID=30149
浏览器查看NIFI（输入上面配置的ip和端口，我这里是：http://192.168.5.170:58080/nifi/）：
可以看到nifi正常启动
3.NIFI与kafka集群通信
首先启动kafka集群，这里假设已经安装配置好了kafka集群，用jpsall命令查看kafka集群是否成功启动：
[linfei@localhost nifi-1.9.2]$ jpsall
=============== spark170 ===============
30848 HistoryServer
28737 ConsoleProducer
30113 RunNiFi
28690 NameNode
28866 DataNode
30403 Jps
29444 JobHistoryServer
26437 ZooKeeperMain
27957 Kafka
30149 NiFi
29226 NodeManager
24813 QuorumPeerMain
=============== spark171 ===============
21744 Kafka
27409 ResourceManager
27186 DataNode
27685 NodeManager
23094 Jps
17871 QuorumPeerMain
=============== spark172 ===============
4514 ConsoleConsumer
23654 DataNode
23894 NodeManager
4987 Jps
23788 SecondaryNameNode
2813 QuorumPeerMain
3662 Kafka
在kafka集群创建名为first的topic，生产消息：
[linfei@localhost kafka]$ ./bin/kafka-topics.sh --zookeeper spark170:2181 --list
__consumer_offsets
__transaction_state
nifi-topic
[linfei@localhost kafka]$ ./bin/kafka-topics.sh --zookeeper spark170:2181 --create --replication-factor 3 --partitions 1 --topic first
Created topic "first".
[linfei@localhost kafka]$ ./bin/kafka-topics.sh --zookeeper spark170:2181 --list
__consumer_offsets
__transaction_state
first
nifi-topic
[linfei@localhost kafka]$ ./bin/kafka-console-producer.sh --broker-list spark170:9092 --topic first
>hello
>hello world
>
打开另一个客户端，接受消息：
[linfei@localhost ~]$ cd /opt/module/kafka/
[linfei@localhost kafka]$ ls
bin config libs LICENSE logs NOTICE site-docs
[linfei@localhost kafka]$ ./bin/kafka-console-consumer.sh --bootstrap-server spark170:9092 --topic first
hello
hello world
可以看到正常，接下来使用nifi与kafka进行通信
用到的四个处理器如下：
右键start所有组件，从下图可以看到通信正常：
在ssh里打开一个消费者，正确接收到了nifi发过来的数据