IT知识库 购物 网址 游戏 小说 歌词 快照 开发 股票 美女 新闻 笑话 | 汉字 软件 日历 阅读 下载 图书馆 编程 China
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
图片批量下载器
↓批量下载图片,美女图库↓
图片自动播放器
↓图片自动播放器↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
vbs/VBScript DOS/BAT hta htc python perl 游戏相关 VBA 远程脚本 ColdFusion ruby专题 autoit seraphzone PowerShell linux shell Lua Golang Erlang 其它教程 CSS/HTML/Xhtml html5 CSS XML/XSLT Dreamweaver教程 经验交流 开发者乐园 Android开发资料
站长资讯 .NET新手 ASP.NET C# WinForm Silverlight WCF CLR WPF XNA VisualStudio ASP.NET-MVC .NET控件开发 EntityFramework WinRT-Metro Java C++ PHP Delphi Python Ruby C语言 Erlang Go Swift Scala R语言 Verilog 其它语言 架构设计 面向对象 设计模式 领域驱动 Html-Css JavaScript jQuery HTML5 SharePoint GIS技术 SAP OracleERP DynamicsCRM K2 BPM 信息安全 企业信息 Android开发 iOS开发 WindowsPhone WindowsMobile 其他手机 敏捷开发 项目管理 软件工程 SQLServer Oracle MySQL NoSQL 其它数据库 Windows7 WindowsServer Linux
  IT知识库 -> 企业信息化其他 -> [系统集成] 基于 elasticsearch 的企业监控方案 -> 正文阅读

[企业信息化其他][系统集成] 基于 elasticsearch 的企业监控方案

[系统集成] 基于 elasticsearch 的企业监控方案 在企业监控领域,nagios 和 zabbix 一直是使用率比较高的工具。最近几年,业界又出现了新的工具和架构,比如:telegraf(数据抓取工具,还有 collectd, logstash,heapster) + influxdb(数据存储和搜索工具,还有 elasticsearch、opentsd) + kapacitor(数据处理和报警工具,还有 elastAlert,watch) + grafana(数据展示工具)。新的监控工具和架构具有分布式架构、组件独立、松耦合、易于扩展、插件丰富、适用范围广等优点,从容器监控到传统的服务器、虚拟机监控都适用。
在数据存储和搜索方面,influxdb 还不太成熟,而且免费版没有集群功能,数据安全存在隐患;而elasticsearch 是一种健壮、高效、使用广泛的大数据存储和搜索引擎,将监控数据存储在 es里,不仅能确保数据安全,而且能与大数据平台结合,发挥更大作用。
(转载请注明出处:http://www.cnblogs.com/hahp)
1. 系统结构图
注:我的测试环境数据不多,因此源数据由 heapster 和 telegraf 抓取后直接存到 elasticsearch。如果数据量很大、elasticsearch 的写操作出现瓶颈,可以在 elasticsearch前加 kafka 和 logstash。

2. 数据抓取
heapster:用于抓取 kubernetes 容器监控数据,直接存到elasticsearch(也支持存到kafka等其它地方);
telegraf:用于抓取非容器的其它监控数据,它的插件很多,几乎涵盖了各种数据源。
3. 数据存储和搜索
elasticsearch 集群,我采用的是两台虚拟机;
4. 告警
我采用的是 elastic x-pack中的 watch:
https://www.elastic.co/guide/en/x-pack/current/how-watcher-works.html 
目前 watch的action只支持 email、webhook、index、loggin、hipchat、slack、pagerduty、jira。如果想执行一个外部脚本,比如:shell、python、perl脚本,可以将这些脚本集成到一台 restful web service服务器中,watch 便能够通过 webhook 方式调用。
watch 的搜索、状态判断、数据转换部分都支持一种 plainless script 语言,比 一般的方式更灵活、功能更强:
https://www.elastic.co/guide/en/elasticsearch/painless/master/painless-specification.html
5. 展示
grafana 的效果非常好,支持 elasticsearch。

附:x-pack watch 例子
下面的 watch 用于监控 k8s nodes 的可用磁盘容量,如果任意一台node的可用磁盘容量低于5G,或者2分钟内获取不到监控数据,watch就会发送短信和邮件报警。
我是把上述功能写到两个watch里,你也可以研究更好的方法精简这两个watch。

PUT _xpack/watcher/watch/k8s_node_filesystem_available_evaluate
{
  "trigger" : { "schedule" : { "interval" : "10s" }},
  "input" : {
    "search" : {
      "request" : {
        "indices" : [ 
          "<heapster-{now}>", 
          "<heapster-{now-1h}>" 
        ],
        "body" : {
          "query" : {
            "bool" : {
              "must" : [
                { "term": { "_type": "filesystem" }},
                { "term": { "MetricsTags.resource_id": "/" }},
                { "term": { "MetricsTags.type": "node" }}
              ],
              "filter" : [
                { "range": { "Metrics.filesystem/available.value": {"lt": 5000000000}} },
                { "range": {"FilesystemMetricsTimestamp": {"gte": "now-70s"}} }
              ]
            }
          },
          "aggs": {
            "group_by_host_id": {
              "terms": { "size": 20, "field": "MetricsTags.host_id" },
              "aggs" : {
                "group_by_available_value" : {
                  "terms": { "script": "params['_source']['Metrics']['filesystem/available']['value']>0?params['_source']['Metrics']['filesystem/available']['value']/(1024*1024*1024):params['_source']['Metrics']['filesystem/available']['value']" }
                }
              }
            }
          }
        }
      }
    }
  },
  "condition" : {
    "compare" : { "ctx.payload.hits.total" : { "gt": 0 }}
  },
  "throttle_period" : "60m",
  "actions" : {
    "send_sms" : {
      "webhook" : {
        "method" : "POST",
        "host" : "sms.kxjf.com",
        "port" : 80,
        "path" : "/actions/sendsms",
        "params" : {
          "phone": "1580000000",
          "message": "【开鑫贷】报警:k8s nodes filesytem available:{{#ctx.payload.aggregations.group_by_host_id.buckets}}{{key}} {{group_by_available_value.buckets.0.key}}GB, {{/ctx.payload.aggregations.group_by_host_id.buckets}}"
        }
      }
    },
    "send_email" : {
      "email" : {
        "to" : "AAAAAAA@kxjf.com",
        "subject" : "【开鑫贷】报警:k8s nodes filesytem available",
        "body" : "{{#ctx.payload.aggregations.group_by_host_id.buckets}}{{key}} {{group_by_available_value.buckets.0.key}}GB, {{/ctx.payload.aggregations.group_by_host_id.buckets}}"
      }
    }
  }
}


PUT _xpack/watcher/watch/k8s_node_filesystem_hava_data
{
  "trigger" : { "schedule" : { "interval" : "10s" }},
  "input" : {
    "search" : {
      "request" : {
        "indices" : [ 
          "<heapster-{now}>", 
          "<heapster-{now-1h}>" 
        ],
        "body" : {
          "query" : {
            "bool" : {
              "must" : [
                { "term": { "_type": "filesystem" }},
                { "term": { "MetricsTags.resource_id": "/" }},
                { "term": { "MetricsTags.type": "node" }},
                { "exists": { "field": "Metrics.filesystem/available.value" }}
              ],
              "filter" : [
                { "range": {"FilesystemMetricsTimestamp": {"gte": "now-130s"}} }
              ]
            }
          },
          "aggs": {
            "group_by_host_id": {
              "terms": { "size": 20, "field": "MetricsTags.host_id" }
            }
          }
        }
      }
    }
  },
  "condition" : {
    "script" : "if(ctx.payload.aggregations.group_by_host_id.buckets.length<12){ return true; } else{ return false;}" 
  },
  "transform" : {
    "script" : "List host_all = ['172.31.17.31','172.31.17.32','172.31.17.33','172.31.17.34','172.31.17.35','172.31.17.36','172.31.17.37','172.31.17.38','172.31.17.39','172.31.17.71','172.31.17.72','172.31.17.73']; List host_ids = []; for (int i = 0; i < ctx.payload.aggregations.group_by_host_id.buckets.length; ++i ){ host_ids.add(ctx.payload.aggregations.group_by_host_id.buckets[i].key); } List host_no_data = []; for(item in host_all){ if(!host_ids.contains(item)){ host_no_data.add(['key':item]); } } return ['host_no_data':host_no_data];"
  },
  "throttle_period" : "60m",
  "actions" : {
    "send_sms" : {
      "webhook" : {
        "method" : "POST",
        "host" : "sms.kxjf.com",
        "port" : 80,
        "path" : "/actions/sendsms",
        "params" : {
          "phone": "1580000000",
          "message": "【开鑫贷】报警:k8s nodes filesytem no data:{{#ctx.payload.host_no_data}}{{key}},{{/ctx.payload.host_no_data}}"
        }
      }
    },
    "send_email" : {
      "email" : {
        "to" : "AAAAAAA@kxjf.com",
        "subject" : "【开鑫贷】报警:k8s nodes filesytem no data",
        "body" : "{{#ctx.payload.host_no_data}}{{key}},{{/ctx.payload.host_no_data}}"
      }
    }
  }
}

邮件告警信息

短信告警信息

上一篇文章           查看所有文章
加:2017-06-17 01:46:20  更:2017-06-17 01:46:22 
 
  企业信息化其他 最新文章
中小公司网站架构
用Gogs在Windows上搭建Git服务
路由知识 静态路由 rip eigrp ospf
路由知识 静态路由 rip eigrp ospf
第一节 信息化知识
第二节 信息系统服务管理
技術型維運團隊管理日記
踏上Salesforce的学习之路(一)
企业管理应具备哪些软件
从FineReport看开放式引擎API
技术频道: 站长资讯 .NET新手区 ASP.NET C# WinForm Silverlight WCF CLR WPF XNA Visual Studio ASP.NET MVC .NET控件开发 Entity Framework WinRT/Metro Java C++ PHP Delphi Python Ruby C语言 Erlang Go Swift Scala R语言 Verilog 其它语言 架构设计 面向对象 设计模式 领域驱动设计 Html/Css JavaScript jQuery HTML5 SharePoint GIS技术 SAP Oracle ERP Dynamics CRM K2 BPM 信息安全 企业信息化其他 Android开发 iOS开发 Windows Phone Windows Mobile 其他手机开发 敏捷开发 项目与团队管理 软件工程其他 SQL Server Oracle MySQL NoSQL 其它数据库 Windows 7 Windows Server Linux
脚本语言: vbs/VBScript DOS/BAT hta htc python perl 游戏相关 VBA 远程脚本 ColdFusion ruby专题 autoit seraphzone PowerShell linux shell Lua Golang Erlang 其它教程
网站开发: CSS/HTML/Xhtml html5 CSS XML/XSLT Dreamweaver教程 经验交流 开发者乐园 Android开发资料
360图书馆 软件开发资料 文字转语音 购物精选 软件下载 新闻资讯 小游戏 Chinese Culture 股票 三丰软件 开发 中国文化 网文精选 阅读网 看图 日历 万年历 2018年10日历
2018-10-19 9:30:51
多播视频美女直播
↓电视,电影,美女直播,迅雷资源↓
TxT小说阅读器
↓语音阅读,小说下载,古典文学↓
一键清除垃圾
↓轻轻一点,清除系统垃圾↓
图片批量下载器
↓批量下载图片,美女图库↓
  网站联系: qq:121756557 email:121756557@qq.com  IT知识库