1.安装elk
2.进入logstash的bin目录,创建jdbc.conf文件(/jdbc.sql文件)
下载mysql的jdbc-connector后解压,将jar包放入指定路径。
input {
stdin{
}
jdbc {
# 连接的数据库地址和哪一个数据库,指定编码格式,禁用SSL协议,设定自动重连
jdbc_connection_string => "jdbc:mysql://数据库ip:3306/数据库名?characterEncoding=UTF-8&useSSL=false&autoReconnect=true"
# 用户名密码
jdbc_user => "数据库用户名"
jdbc_password => "数据库密码"
# jar包的位置
jdbc_driver_library => "/Users/jeanettian/docker_ref/logstash-8.1.2/bin/mysql-connector-java-8.0.28/mysql-connector-java-8.0.28.jar"
# mysql的Driver
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_default_timezone => "Asia/Shanghai"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
#statement_filepath => "config-mysql/test02.sql"
#注意这个sql不能出现type,这是es的保留字段
statement => "select * from 表名"
schedule => "* * * * *"
#索引的类型
type => "user"
}
}
output {
elasticsearch {
hosts => "localhost:9200"
# index名
index => "es中的索引名(先通过curl -X PUT命令创建索引名)"
document_type => "usertype"
# 需要关联的数据库中有有一个id字段,对应索引的id号
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}
3.将创建的jdbc.conf文件根据日志报错提示复制一份放入指定config path。
4.在bin目录中执行:
./logstash -f ./jdbc.conf
5.如果数据流转正常,会打印output的数据
6.kibana中在discover中找到该索引的数据
?7.刷新数据,点击右上家刷新按钮
?8.visualize中选择想要的报表看板
选择x,y轴展示数据
?
|