1问题描述
todo 首先该问题是线上生产问题 并且仍然未解决 如果有网友知道怎么解决欢迎评论
filebeat 删除registry中某条目的信息后 重启filebeat 导致所有索引都重新录入
使用 腾讯云 docker 启动的filebeat
配置文件中配置了 filebeat.registry.path
filebeat 版本为7.5.1
2 todo 问题待解决
我在容器中查看filebeat 的帮助命令 里面没有 停止服务的命令
更新 找到了原因 未解决
因为使用vi/vim 编辑了registry文件 导致文件的innod值改变所以会重新录入所有数据 而使用echo则不会修改
具体地址我放到后面
目前问题是 已知es数据重复需要进行删除重复数据操作
以及怎么进行处理registry文件
参考资料
官方registry部分文档
官方关于关闭filebeat部分说明
Filebeat的Registry文件解读
filebeat7.7.0相关详细配置预览-Filebeat global options
源码解析 registry
Filebeat重启后不收集的问题分析
重点
ERR ” write: broken pipe” es论坛关于vim修改registry的问题原贴
filebeat 重复输入数据到 logstash
|