使用 OpenTelemetry 集成将自承载网关部署到 Kubernetes

可用性

重要

此功能在 API 管理的“高级”和“开发人员”层中可用。

本文介绍将 Azure API 管理的自承载网关组件部署到 Kubernetes 群集并自动将所有指标发送到 OpenTelemetry 收集器的步骤。

重要

OpenTelemetry 对 Azure API 管理的自承载网关的支持目前以预览版提供,需要 2.0.0 标记或更高版本。

学习如何:

  • 在 Kubernetes 上配置和部署独立 OpenTelemetry 收集器
  • 部署具有 OpenTelemetry 指标的自承载网关。
  • 通过在自承载网关上使用 API 来生成指标。
  • 使用 OpenTelemetry 收集器中的指标。

先决条件

OpenTelemetry 简介

OpenTelemetry 是一组开放源代码工具和框架,用于以非特定于供应商的方式进行日志记录、指标度量和跟踪。

重要

OpenTelemetry 对 Azure API 管理的自承载网关的支持目前以预览版提供,需要 2.0.0 标记或更高版本。

可将自承载网关配置为自动收集指标并将其发送到 OpenTelemetry 收集器。 这使你可以为自承载网关提供自己的指标收集和报告解决方案。

注意

OpenTelemetry 是云本机计算基础 (CNCF) 生态系统的孵化项目。

指标

自承载网关将自动开始测量以下指标:

  • 请求
  • DurationInMs
  • BackendDurationInMs
  • ClientDurationInMs
  • GatewayDurationInMs

它们每分钟自动导出到配置好的 OpenTelemetry 收集器,并带有额外的维度。

部署 OpenTelemetry 收集器

首先,我们将使用 Helm 在 Kubernetes 上部署独立的 OpenTelemetry 收集器。

提示

使用收集器 Helm 图表时,它们还提供了 OpenTelemetry 收集器运算符

首先,必须添加 Helm 图表存储库:

  1. 添加 Helm 存储库

    helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
    
  2. 更新存储库以提取最新的 Helm 图表。

    helm repo update
    
  3. 通过列出所有可用的图表来验证 Helm 配置。

    $ helm search repo open-telemetry
    NAME                                    CHART VERSION   APP VERSION     DESCRIPTION
    open-telemetry/opentelemetry-collector  0.8.1           0.37.1          OpenTelemetry Collector Helm chart for Kubernetes
    open-telemetry/opentelemetry-operator   0.4.0           0.37.0          OpenTelemetry Operator Helm chart for Kubernetes
    

现在我们已配置了图表存储库,接下来可以将 OpenTelemetry 收集器部署到群集:

  1. 创建一个名为 opentelemetry-collector-config.yml 的本地配置文件,配置如下:

    mode: deployment
    config:
      exporters:
        prometheus:
          endpoint: "0.0.0.0:8889"
          namespace: azure_apim
          send_timestamps: true
      service:
        pipelines:
          metrics:
            exporters:
            - prometheus
    service:
      type: LoadBalancer
    ports:
      jaeger-compact:
        enabled: false
      prom-exporter:
        enabled: true
        containerPort: 8889
        servicePort: 8889
        protocol: TCP
    

这样,我们就可以使用独立收集器,并在端口 8889 上公开 Prometheus 导出器。 为了公开 Prometheus 指标,我们让 Helm 图表配置 LoadBalancer 服务。

注意

我们将禁用 compact Jaeger 端口,该端口使用 UDP,并且 LoadBalancer 服务不允许同时拥有多个协议。

  1. 使用我们的配置安装 Helm 图表:

    helm install opentelemetry-collector open-telemetry/opentelemetry-collector --values .\opentelemetry-collector-config.yml
    
  2. 通过获取 Helm 图表的所有资源来验证安装

    $ kubectl get all -l app.kubernetes.io/instance=opentelemetry-collector
    NAME                                           READY   STATUS    RESTARTS   AGE
    pod/opentelemetry-collector-58477c8c89-dstwd   1/1     Running   0          27m
    
    NAME                              TYPE           CLUSTER-IP     EXTERNAL-IP    PORT(S)                                                                                       AGE
    service/opentelemetry-collector   LoadBalancer   10.0.175.135   20.103.18.53   14250:30982/TCP,14268:32461/TCP,4317:31539/TCP,4318:31581/TCP,8889:32420/TCP,9411:30003/TCP   27m
    
    NAME                                      READY   UP-TO-DATE   AVAILABLE   AGE
    deployment.apps/opentelemetry-collector   1/1     1            1           27m
    
    NAME                                                 DESIRED   CURRENT   READY   AGE
    replicaset.apps/opentelemetry-collector-58477c8c89   1         1         1       27m
    
  3. 记下服务的外部 IP,以便以后可以对其进行查询。

安装 OpenTelemetry 收集器后,现在可以将自承载网关部署到群集。

部署自承载网关

重要

若要详细了解如何使用 Helm 部署自承载网关以及如何获取所需的配置,建议阅读这篇文章

在本部分中,我们将通过 Helm 将自承载网关部署到群集,并将其配置为将 OpenTelemetry 指标发送到 OpenTelemetry 收集器。

  1. 安装 Helm 图表,并将其配置为使用 OpenTelemetry 指标:

    helm install azure-api-management-gateway \
                 --set gateway.configuration.uri='<your configuration url>' \
                 --set gateway.auth.key='<your auth token>' \
                 --set observability.opentelemetry.enabled=true \
                 --set observability.opentelemetry.collector.uri=http://opentelemetry-collector:4317 \
                 --set service.type=LoadBalancer \
                 azure-apim-gateway/azure-api-management-gateway
    

注意

opentelemetry-collector 在上面的命令中是 OpenTelemetry 收集器的名称。 如果服务具有不同的名称,请更新名称。

  1. 通过获取 Helm 图表的所有资源来验证安装

    $ kubectl get all -l app.kubernetes.io/instance=apim-gateway
    NAME                                                            READY   STATUS    RESTARTS   AGE
    pod/apim-gateway-azure-api-management-gateway-fb77c6d49-rffwq   1/1     Running   0          63m
    
    NAME                                                TYPE           CLUSTER-IP    EXTERNAL-IP    PORT(S)                         AGE
    service/apim-gateway-azure-api-management-gateway   LoadBalancer   10.0.67.177   20.71.82.110   8080:32267/TCP,8081:32065/TCP   63m
    
    NAME                                                        READY   UP-TO-DATE   AVAILABLE   AGE
    deployment.apps/apim-gateway-azure-api-management-gateway   1/1     1            1           63m
    
    NAME                                                                  DESIRED   CURRENT   READY   AGE
    replicaset.apps/apim-gateway-azure-api-management-gateway-fb77c6d49   1         1         1       63m
    
  2. 记下自承载网关服务的外部 IP,以便以后可以对其进行查询。

生成并使用 OpenTelemetry 指标

部署 OpenTelemetry 收集器和自承载网关之后,接下来可以开始使用 API 来生成指标。

注意

对于本演练,我们将使用默认的“Echo API”。

请确保按如下方式进行配置:

  • 允许 HTTP 请求
  • 允许自承载网关公开它。
  1. 在自承载网关上查询 Echo API:

    $ curl -i "http://<self-hosted-gateway-ip>:8080/echo/resource?param1=sample&subscription-key=abcdef0123456789"
    HTTP/1.1 200 OK
    Date: Mon, 20 Dec 2021 12:58:09 GMT
    Server: Microsoft-IIS/8.5
    Content-Length: 0
    Cache-Control: no-cache
    Pragma: no-cache
    Expires: -1
    Accept: */*
    Host: echoapi.chinacloudapp.cn
    User-Agent: curl/7.68.0
    X-Forwarded-For: 10.244.1.1
    traceparent: 00-3192030c89fd7a60ef4c9749d6bdef0c-f4eeeee46f770061-01
    Request-Id: |3192030c89fd7a60ef4c9749d6bdef0c.f4eeeee46f770061.
    Request-Context: appId=cid-v1:c24f5e00-aa25-47f2-bbb5-035847e7f52a
    X-Powered-By: Azure API Management - http://api.azure.com/,ASP.NET
    X-AspNet-Version: 4.0.30319
    

自承载网关现在将度量请求,并将指标发送到 OpenTelemetry 收集器。

  1. http://<collector-service-ip>:8889/metrics 上的收集器上查询 Prometheus 终结点。 可得到类似于下面的指标:

    # HELP azure_apim_BackendDurationInMs 
    # TYPE azure_apim_BackendDurationInMs histogram
    azure_apim_BackendDurationInMs_bucket{Hostname="20.71.82.110",le="5"} 0 1640093731340
    [...]
    azure_apim_BackendDurationInMs_count{Hostname="20.71.82.110"} 22 1640093731340
    # HELP azure_apim_ClientDurationInMs 
    # TYPE azure_apim_ClientDurationInMs histogram
    azure_apim_ClientDurationInMs_bucket{Hostname="20.71.82.110",le="5"} 22 1640093731340
    [...]
    azure_apim_ClientDurationInMs_count{Hostname="20.71.82.110"} 22 1640093731340
    # HELP azure_apim_DurationInMs 
    # TYPE azure_apim_DurationInMs histogram
    azure_apim_DurationInMs_bucket{Hostname="20.71.82.110",le="5"} 0 1640093731340
    [...]
    azure_apim_DurationInMs_count{Hostname="20.71.82.110"} 22 1640093731340
    # HELP azure_apim_GatewayDurationInMs 
    # TYPE azure_apim_GatewayDurationInMs histogram
    azure_apim_GatewayDurationInMs_bucket{Hostname="20.71.82.110",le="5"} 0 1640093731340
    [...]
    azure_apim_GatewayDurationInMs_count{Hostname="20.71.82.110"} 22 1640093731340
    # HELP azure_apim_Requests 
    # TYPE azure_apim_Requests counter
    azure_apim_Requests{BackendResponseCode="200",BackendResponseCodeCategory="2xx",Cache="None",GatewayId="Docs",Hostname="20.71.82.110",LastErrorReason="None",Location="GitHub",ResponseCode="200",ResponseCodeCategory="2xx",Status="Successful"} 22 1640093731340
    

清理

至此已完成本教程,现在可轻松清理群集,如下所示:

  1. 卸载自承载网关 Helm 图表:

    helm uninstall apim-gateway
    
  2. 卸载 OpenTelemetry 收集器:

    helm uninstall opentelemetry-collector
    

后续步骤