在 Azure Monitor 中为 Prometheus 指标创建自定义配置文件并进行验证

除了 Azure Monitor Prometheus 代理默认抓取的默认抓取目标外，可通过以下步骤使用 configmap 向代理提供更多抓取配置。 Azure Monitor Prometheus 代理不理解也不处理 operator CRD 来获得抓取配置，而是使用 Prometheus 配置中定义的本机 Prometheus 配置。

可用于自定义目标抓取的三个 configmap 包括 -

• ama-metrics-prometheus-config（推荐）- 创建具有此名称的 configmap 后，将从在群集中运行的 Azure Monitor 指标副本 Pod 运行其中定义的抓取作业。
• ama-metrics-prometheus-config-node（高级）- 创建具有此名称的 configmap 后，将从在群集中运行的每个 Linux DaemonSet Pod 运行其中定义的抓取作业。 有关详细信息，请参阅高级设置。
• ama-metrics-prometheus-config-node-windows（高级）- 创建具有此名称的 configmap 后，将从每个 Windows DaemonSet 运行其中定义的抓取作业。 有关详细信息，请参阅高级设置。

创建 Prometheus 配置文件

创作 Prometheus 抓取配置作业的一种更简单方法：

• 步骤：1 使用配置文件 (yaml) 创作/定义抓取作业
• 步骤：2 使用本文中指定的自定义工具验证抓取配置文件，然后将该配置文件转换为 configmap
• 步骤：3 将抓取配置文件作为 configmap 部署到群集。

这种方法可以更轻松地创作 yaml 配置（它对空间非常敏感），并且不会通过在 configmap 中直接创作抓取配置来添加意外的空间。

创建一个名为 prometheus-config 的 Prometheus 抓取配置文件。 要详细了解如何为 Prometheus 创作抓取配置，请参阅配置提示和示例。 还可查看 Prometheus.io 抓取配置参考。 配置文件将在 scrape_configs 部分下列出抓取配置，并且可选择使用“全局”部分来设置全局 scrape_interval、scrape_timeout 和 external_labels。

以下是一个示例 Prometheus 抓取配置文件：

global:
  scrape_interval: 30s
scrape_configs:
- job_name: my_static_config
  scrape_interval: 60s
  static_configs:
    - targets: ['my-static-service.svc.cluster.local:1234']

- job_name: prometheus_example_app
  scheme: http
  kubernetes_sd_configs:
    - role: service
  relabel_configs:
    - source_labels: [__meta_kubernetes_service_name]
      action: keep
      regex: "prometheus-example-service"

验证抓取配置文件

代理将使用 promconfigvalidator 工具验证通过 configmap 提供给它的 Prometheus 配置。 如果配置无效，则附加代理将会拒绝给定的自定义配置。 获得 Prometheus 配置文件后，可选择性地使用 工具来验证配置，然后再创建代理使用的配置映射。

promconfigvalidator 工具包含在 Azure Monitor 指标加载项 pod 中。 可使用群集中 ama-metrics-node-* 命名空间中的任何 kube-system Pod 下载该工具来进行验证。 使用 kubectl cp 下载工具及其配置：

for podname in $(kubectl get pods -l rsName=ama-metrics -n=kube-system -o json | jq -r '.items[].metadata.name'); do kubectl cp -n=kube-system "${podname}":/opt/promconfigvalidator ./promconfigvalidator;  kubectl cp -n=kube-system "${podname}":/opt/microsoft/otelcollector/collector-config-template.yml ./collector-config-template.yml; chmod 500 promconfigvalidator; done

复制可执行文件和 yaml 后，找到所创作的 Prometheus 配置文件的路径。 然后，替换命令中的 <config path> 并使用以下命令运行验证程序：

./promconfigvalidator/promconfigvalidator --config "<config path>" --otelTemplate "./promconfigvalidator/collector-config-template.yml"

如果可选 merged-otel-config.yaml 参数未提供路径，则运行验证程序会生成合并的配置文件 output。 请勿将此自动生成的合并文件作为配置用于指标收集器代理，因为它仅用于工具验证和调试目的。

将配置文件部署为 configmap

自定义 Prometheus 配置文件在 prometheus-config 命名空间中用作指标附加 configmap ama-metrics-prometheus-config（或）ama-metrics-prometheus-config-node（或）ama-metrics-prometheus-config-node-windows 中名为 kube-system 的字段。 可以根据上面创建的抓取配置文件创建 configmap，其方法是将 Prometheus 配置文件重命名为 prometheus-config（没有文件扩展名），并运行一个或多个以下命令，具体取决于要为自定义抓取作业配置创建的 configmap。

例如；- 创建要由 replicsset 使用的 configmap

kubectl create configmap ama-metrics-prometheus-config --from-file=prometheus-config -n kube-system

这会在 ama-metrics-prometheus-config 命名空间中创建名为 kube-system 的 configmap。 Azure Monitor 指标 pod 将会在 30-60 秒后重启以应用新的配置。要查看配置验证、处理或合并是否存在任何问题，可以查看 ama-metrics 副本 Pod

例如；- 创建要由 Linux DaemonSet 使用的 configmap

kubectl create configmap ama-metrics-prometheus-config-node --from-file=prometheus-config -n kube-system

这会在 ama-metrics-prometheus-config-node 命名空间中创建名为 kube-system 的 configmap。 每个 Azure Monitor 指标 Linux DaemonSet 将在 30-60 秒后重启，以应用新的配置。要查看配置验证、处理或合并是否存在任何问题，可以查看 ama-metrics-node Linux Deamonset Pod

例如；- 创建要由 Windows DaemonSet 使用的 configmap

kubectl create configmap ama-metrics-prometheus-config-node-windows --from-file=prometheus-config -n kube-system

这会在 ama-metrics-prometheus-config-node-windows 命名空间中创建名为 kube-system 的 configmap。 每个 Azure Monitor 指标 Windows DaemonSet pod 将会在 30-60 秒后重启以应用新的配置。要查看配置验证、处理或合并是否存在任何问题，可以查看 ama-metrics-win-node Windows Deamonset Pod

确保在运行以下命令之前将 Prometheus 配置文件命名为 prometheus-config，因为该文件名用作配置映射设置名称。

这会在 ama-metrics-prometheus-config 命名空间中创建名为 kube-system 的 configmap。 Azure Monitor 指标 pod 将会重启以应用新的配置。要查看配置验证、处理或合并是否存在任何问题，可以查看 ama-metrics Pod。

ama-metrics-prometheus-config提供了 配置映射示例。

故障排除

如果在 kube-system 命名空间中成功创建了 configmap（ama-metrics-prometheus-config 或 ama-metrics-prometheus-config-node），但仍然看不到抓取自定义目标，请使用 kubectl 日志检查 ama-metrics-prometheus-config configmap 的副本 pod 日志或 ama-metrics-prometheus-config-node configmap 的 DaemonSet pod 日志中是否存在错误，并确保在带有前缀 prometheus-config-merger 的开始合并默认和自定义 Prometheus 配置部分中没有错误

- job_name: nodesample
  scrape_interval: 30s
  scheme: http
  metrics_path: /metrics
  relabel_configs:
  - source_labels: [__metrics_path__]
    regex: (.*)
    target_label: metrics_path
  - source_labels: [__address__]
    replacement: '$NODE_NAME'
    target_label: instance
  static_configs:
  - targets: ['$NODE_IP:9100']

后续步骤

• 详细了解如何收集 Prometheus 指标。