| |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
-> 大数据 -> Flume的三种基本采集方式(三) -> 正文阅读 |
|
[大数据]Flume的三种基本采集方式(三) |
一、Syslog方式 Flume提供了Syslog的方式,通过TCP/UDP通信协议直接对某台主机上的某个端口进行监听,实现了采集端主动采集端口日志的功能,提高了可靠性。
通过执行命令
启动Flume Agent agent1,指定日志等级为INFO,并将日志内容输出到控制台,Flume Agent1的启动信息如图 重新打开一个命令行窗口,使用“nc”命令发送数据到本机的5140端口,如图
观察之前的本机控制台命令行窗口,可以看到追加的日志已被获取,如图 二、Exec Source方式 第二种Fume提供了一种Exec的方式来自定义日志采集,即通过使用 Exec Source完成从本地日志文件中收集日志数据的任务,Exec就是使用linux的命令方式读取日志文件。 进入/home/software/flume/syslog目录,创建一个空的日志文件syslog.log。 进入 Flume的conf目录,创建exec.cof配置文件,配置信息如下
通过执行命令
启动Flume Agent agent3,指定日志等级为INFO,并将日志信息输出到控制台。启动信息如图 向syslog.log文件中追加内容,如图 flume读取成功 三、Spooling Directory Source方式 实际工作中为了自动采集每日产生的日志,可每日自动生成一个日志文件。为了实现自动采集日志功能,Flume提供了 Spooling Directory Source方式来对日志存储文件夹进行监控,即对指定的目录进行监控,如有新增文件就会采集。 创建目录/home/software/flume/syslog。 进入 Flume的conf目录,创建 spool.conf配置文件
通过执行命令
启动Flume Agent agent2,指定日志等级为INFO,并将日志内容输出到控制台, Flume Agent agent2的启动信息如图 打开一个新的命令行窗口,用来观察日志。在被监听的文件目录中创建一个包含内容的测试文件,随后可以观察第一个命令行窗口的变化,查看接收的数据,如图 上面这张图是flume采集了我们在2中创建的sysylog.log,同时在采集之后flume会将已完成采集的文件加上.COMPLETED后缀。下面是我们在监控的目录下上传了一个有内容的文件,flume对其读取后的日志信息如下图 以上就是三种常见基本的Syslog、Spooling Directory Source、Exec Source读取日志的方式,下一篇介绍两种实际工作中常用到的Flume与其他组件配合使用的方法。 |
|
|
上一篇文章 下一篇文章 查看所有文章 |
|
开发:
C++知识库
Java知识库
JavaScript
Python
PHP知识库
人工智能
区块链
大数据
移动开发
嵌入式
开发工具
数据结构与算法
开发测试
游戏开发
网络协议
系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程 数码: 电脑 笔记本 显卡 显示器 固态硬盘 硬盘 耳机 手机 iphone vivo oppo 小米 华为 单反 装机 图拉丁 |
360图书馆 购物 三丰科技 阅读网 日历 万年历 2025年4日历 | -2025/4/20 23:05:15- |
|
网站联系: qq:121756557 email:121756557@qq.com IT数码 |