使用 ConfigMap 自定义从 Kubernetes 集群收集的 Prometheus 指标

从 Kubernetes 群集启用 Prometheus 指标收集时，它使用 默认集合 来确定要收集的指标。 本文介绍如何自定义此集合以满足特定的监视要求。

ConfigMap

以下的 ConfigMap 用于配置指标加载项的抓取设置及其他配置。 启用托管 Prometheus 时，群集中默认不存在此 ConfigMap。

根据下面的指南修改 ConfigMap 中的设置，然后使用以下命令应用它。 AMA-Metrics Pod 将在 2-3 分钟内启动并重启，以应用指定的配置设置。

kubectl apply -f .\ama-metrics-settings-configmap.yaml

启用和禁用默认目标

Azure Monitor 中的默认 Prometheus 指标配置 列出了默认从 Kubernetes 群集收集的默认目标和指标。 若要启用或禁用这些目标中的任何一个，请在 ConfigMap 的 cluster-metrics.default-targets-scrape-enabled或 controlplane-metrics.default-targets-scrape-enabled部分中将目标设置更新为 true或 false。

例如，若要启用默认禁用的coredns数据抓取功能，请按如下所示更新设置：

cluster-metrics: |-
    default-targets-scrape-enabled: |-
        kubelet = true
        coredns = true
        cadvisor = true
        kubeproxy = false
        ...

抓取间隔设置

所有默认目标的默认抓取间隔为 30 秒。 若要修改任何目标的此间隔，可以更新 default-targets-scrape-interval-settings ConfigMap 内部 cluster-metrics 或 controlplane-metrics 部分中的设置。

例如，若要将 kubelet 的抓取间隔更改为 60 秒，请按如下所示更新设置：

cluster-metrics: |-
    default-targets-scrape-interval-settings: |-
        kubelet = "60s"
        coredns = "30s"
        cadvisor = "30s"
        ...

启用基于 Pod 注解的抓取

将注释添加到群集中的 Pod，以便在不创建自定义 Prometheus 配置的情况下抓取应用程序 Pod。要启用抓取具有特定注释的 Pod，请将要抓取的 Pod 的命名空间的正则表达式添加到 ConfigMap 的 podannotationnamespaceregex 部分中的podannotationnamespaceregex。

例如，以下设置仅在命名空间 kube-system 和 my-namespace 中抓取具有注释的 Pod：

cluster-metrics: |-
    pod-annotation-based-scraping: |-
        podannotationnamespaceregex = "kube-system|my-namespace"

将批注添加到 metadata ConfigMap 部分。 prometheus.io/scrape: "true" 是抓取 Pod 所需的，而 prometheus.io/path 和 prometheus.io/port 指示托管在 Pod 上的指标的路径和端口。 以下示例定义了一个 Pod 的注释，该 Pod 托管了位于 <pod IP>:8080/metrics 的指标。

metadata:   
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/path: '/metrics'
    prometheus.io/port: '8080'

自定义由默认目标采集的指标

对于Azure Monitor 中 Prometheus 指标的最小引入配置文件中所述，只会为默认目标收集基本的指标。 若要从默认目标收集所有指标，请在 ConfigMap 的 minimalingestionprofile 或 false 部分将 default-targets-metrics-keep-list 设置为 cluster-metrics。

cluster-metrics: |-
    minimal-ingestion-profile: |-
      enabled = false

或者，你可以通过在其 default-targets-metrics-keep-list 下更新保留列表来为任何默认目标添加要收集的指标。

例如，kubelet 是默认目标 kubelet 的指标筛选设置。 使用以下脚本通过基于正则表达式的筛选来筛选为默认目标收集的指标。

kubelet = "metricX|metricY"
apiserver = "mymetric.*"

如果要进一步自定义默认目标以更改集合频率或标签等属性，则通过将目标值 false设置为禁用该目标。 然后，根据 Azure Monitor 中 Prometheus 指标的自定义擦除中所述，为目标创建自定义作业。

群集别名

群集资源 ID 的最后一部分将追加到每个时序以唯一标识数据。 例如，如果资源 ID 为 /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/rg-name/providers/Microsoft.ContainerService/managedClusters/myclustername，则群集标签为 myclustername。 若要覆盖此群集标签，请更新cluster_alias中的prometheus-collector-settings设置。

  prometheus-collector-settings: |-
    cluster_alias = ""

调试模式

若要查看出于调试目的而收集的每个指标，可以将指标附加代理配置为在调试模式下运行，方法是在enabled配置下，将设置从true更新为debug-mode

Kube-state-metrics

若要覆盖作为托管 Prometheus 启用的一部分安装的 kube-state-metrics 部署（ama-metrics-ksm）的默认启动参数（resources、metric-labels-allowlist 和 metric-annotations-allowlist），请使用 ama-metrics-settings-configmap。

labels_allow_list和annotations_allow_list配置映射中的设置将覆盖在载入 ksm-metrics-labels-allow-list 和 ksm-metrics-annotations-allow-list 期间设置的参数

资源配置映射中的设置将替代用于 ama-metrics-ksm 部署的默认收集器

请注意，以下是 yaml 配置：

  ksm-config: |-
    resources: 
      secrets: {}
      configmaps: {}
    labels_allow_list: # object name and label names
      pods: 
      - app8
    annotations_allow_list: # object name and annotation names
      namespaces:
      - kube-system
      - default

后续步骤

在 Prometheus 的指标上设置警报
查询 Prometheus 指标
详细了解如何收集 Prometheus 指标