前言
前面我们已经学习到了prometheus的服务发现了，我们也基于kubernetes_sd_config对集群的node节点进行发现与监控了。那个是针对node_export指标数据监控节点自身资源使用情况的。但是并没有针对K8s组件，资源对象等做监控，例如kubelet，apiserver，pod，service，ingress等等。我们此次主要继续使用kubernetes_sd_config对K8s集群的资源进行监控。
一、监控kubelet
kubelet自带了监控数据的，而且是内置支持prometheus的，在Kubernetes 1.11+ 版本以后，kubelet的默认metrics接口端口是10250。此端口只能通过https协议去访问。因此我们使用kubernetes_sd_config进行监控时，协议需要选择为https，并且挂载证书文件。（由于我们前面在创建prometheus时创建了ServiceAccount资源对象，因此API的凭证会自动挂载到prometheus的pods中）
[root@k8s-master ~]# netstat -lntup | grep 10250
tcp6 0 0 :::10250 :::* LISTEN 23423/kubelet
[root@k8s-master ~]# vim prometh_configmap.yaml
- job_name: 'k8s-kubelet(服务发现)'
kubernetes_sd_configs:
- role: node
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
insecure_skip_verify: true
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
scheme：指定为https协议
tls_config：配置 TLS 连接
ca_file：用于验证 API 服务器证书的 CA 证书。
insecure_skip_verify：禁用服务器证书的验证。
bearer_token_file：用于验证 API 服务器的令牌
[root@k8s-master ~]# kubectl apply -f prometh_configmap.yaml
[root@k8s-master ~]# curl -X POST http://10.244.219.114:9090/-/reload #热加载配置文件
访问Web UI查看Targets
可以看到，kubelet组件的状态及相关指标监控数据已经采集上了。例如我们可以在grup界面查看当前K8s集群每一个节点运行了多少个Pod（kubelet_running_pods）
二、监控Pods
我们使用prometheus对K8s的pod资源进行监控时，可以借助cAdvisor进行。cAdvisor是内置在kubelet中，负责对当前的节点实时进行性能的监控与采集，当kubelet启动时会自动启动cAdvisor，即一个cAdvisor仅对一台Node机器进行监控。cAdvisor的指标数据接口是/metrics/cadvisor。具体可查看官方文档：https://kubernetes.io/zh/docs/concepts/cluster-administration/system-metrics/
[root@k8s-master ~]# vim prometh_configmap.yaml
- job_name: 'k8s-cAdvisor(服务发现)'
kubernetes_sd_configs:
- role: node
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
insecure_skip_verify: true
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
metrics_path: /metrics/cadvisor
[root@k8s-master ~]# kubectl apply -f prometh_configmap.yaml
[root@k8s-master ~]# curl -X POST http://10.244.219.114:9090/-/reload #热加载配置文件
查看Targets：
我们在上面可以看到，cAdvisor的服务发现是监控上了，但是数据有什么呢。关于pod的指标数据都有什么呢？cAdvisor服务发现的指标名称都是container开始的。例如我们计算monitor命名空间下所有pod的CPU在5分钟内的平均使用率
avg by (pod) (irate(container_cpu_usage_seconds_total{image!="", pod!="", namespace=“monitor”}[5m]))
三、监控kube-apiserver
K8s的apiserver组件是整个集群的唯一入口，所有人访问资源，创建资源，管理资源都是从apiserver进来的。因此我们需要把apiserver也监控上了。prometheus监控apiserver的话，可以使用kubernetes_sd_config中的Endpoints发现模式。那么为什么apiserver可以使用Endpoints发现模式，由于apiserver是集群的统一入口，在集群内部的一些服务和资源对象需要访问apiserver的话，就得与之进行网络通信，因此kubernetes默认会在defalue命名空间下创建一个名为kubernetes的Service资源对象。而Service资源对象又是通过Endpoints去进行管理与转发的。我们可以查看一下
[root@k8s-master ~]# kubectl get svc,ep
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubernetes ClusterIP 10.1.0.1 <none> 443/TCP 70d
NAME ENDPOINTS AGE
endpoints/kubernetes 172.16.1.37:6443 70d
[root@k8s-master ~]# vim prometh_configmap.yaml
- job_name: 'k8s-apiserver'
kubernetes_sd_configs:
- role: endpoints
scheme: https
tls_config:
ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
insecure_skip_verify: true
bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
relabel_configs:
- source_labels: [__meta_kubernetes_namespace, __meta_kubernetes_endpoints_name, __meta_kubernetes_endpoint_port_name]
regex: default;kubernetes;https
action: keep
[root@k8s-master ~]# kubectl apply -f prometh_configmap.yaml
[root@k8s-master ~]# curl -X POST http://10.244.219.114:9090/-/reload #热加载配置文件
查看Target界面
可以看到apiserver也已经监控上了。我们可以尝试获取一下apiserver最近一分钟里处理了多少请求。
sum (irate(apiserver_request_duration_seconds_count[1m]))
到这里我们就完成了对 Kubernetes ApiServer 的监控了。
如果我们还需要监控其他系统组件，比如 kube-controller-manager、kube-scheduler 的话应该怎么做呢？其中 kube-sheduler 的指标数据端口为 10251，kube-controller-manager 对应的端口为 10252，大家可以尝试下自己来配置下这几个系统组件。可以在节点使用netstat命令查看一下这些端口有没有在监听，因为Master节点的组件大部分都是静态pod来的。有兴趣的朋友可以查看我的github项目第四章，里面有对应的yaml文件。https://github.com/shaxiaozz/prometheus