使用 OpenTelemetry 集成将自承载网关部署到 Kubernetes

项目
06/02/2023

本文介绍将 Azure API 管理的自承载网关组件部署到 Kubernetes 群集并自动将所有指标发送到 OpenTelemetry 收集器的步骤。

重要

OpenTelemetry 对 Azure API 管理的自承载网关的支持目前以预览版提供，需要 2.0.0 标记或更高版本。

学习如何：

在 Kubernetes 上配置和部署独立 OpenTelemetry 收集器
部署具有 OpenTelemetry 指标的自承载网关。
通过在自承载网关上使用 API 来生成指标。
使用 OpenTelemetry 收集器中的指标。

可用性

重要

此功能在 API 管理的“高级”和“开发人员”层中可用。

先决条件

创建一个 Azure API 管理实例
使用 Azure CLI、使用 Azure PowerShell 或使用 Azure 门户创建 Azure Kubernetes 群集。
在 API 管理实例中预配自承载网关资源。

OpenTelemetry 简介

OpenTelemetry 是一组开放源代码工具和框架，用于以非特定于供应商的方式进行日志记录、指标度量和跟踪。

重要

OpenTelemetry 对 Azure API 管理的自承载网关的支持目前以预览版提供，需要 2.0.0 标记或更高版本。

可将自承载网关配置为自动收集指标并将其发送到 OpenTelemetry 收集器。这使你可以为自承载网关提供自己的指标收集和报告解决方案。

注意

OpenTelemetry 是云本机计算基础 (CNCF) 生态系统的孵化项目。

指标

自承载网关将自动开始测量以下指标：

请求
DurationInMs
BackendDurationInMs
ClientDurationInMs
GatewayDurationInMs

它们每分钟自动导出到配置好的 OpenTelemetry 收集器，并带有额外的维度。

部署 OpenTelemetry 收集器

首先，我们将使用 Helm 在 Kubernetes 上部署独立的 OpenTelemetry 收集器。

提示

使用收集器 Helm 图表时，它们还提供了 OpenTelemetry 收集器运算符

首先，必须添加 Helm 图表存储库：

添加 Helm 存储库

helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts

更新存储库以提取最新的 Helm 图表。
```
helm repo update
```

通过列出所有可用的图表来验证 Helm 配置。

$ helm search repo open-telemetry
NAME                                    CHART VERSION   APP VERSION     DESCRIPTION
open-telemetry/opentelemetry-collector  0.8.1           0.37.1          OpenTelemetry Collector Helm chart for Kubernetes
open-telemetry/opentelemetry-operator   0.4.0           0.37.0          OpenTelemetry Operator Helm chart for Kubernetes

现在我们已配置了图表存储库，接下来可以将 OpenTelemetry 收集器部署到群集：

创建一个名为 opentelemetry-collector-config.yml 的本地配置文件，配置如下:

mode: deployment
config:
  exporters:
    prometheus:
      endpoint: "0.0.0.0:8889"
      namespace: azure_apim
      send_timestamps: true
  service:
    pipelines:
      metrics:
        exporters:
        - prometheus
service:
  type: LoadBalancer
ports:
  jaeger-compact:
    enabled: false
  prom-exporter:
    enabled: true
    containerPort: 8889
    servicePort: 8889
    protocol: TCP

这样，我们就可以使用独立收集器，并在端口 8889 上公开 Prometheus 导出器。为了公开 Prometheus 指标，我们让 Helm 图表配置 LoadBalancer 服务。

注意

我们将禁用 compact Jaeger 端口，该端口使用 UDP，并且 LoadBalancer 服务不允许同时拥有多个协议。

使用我们的配置安装 Helm 图表：

helm install opentelemetry-collector open-telemetry/opentelemetry-collector --values .\opentelemetry-collector-config.yml

通过获取 Helm 图表的所有资源来验证安装

$ kubectl get all -l app.kubernetes.io/instance=opentelemetry-collector
NAME                                           READY   STATUS    RESTARTS   AGE
pod/opentelemetry-collector-58477c8c89-dstwd   1/1     Running   0          27m

NAME                              TYPE           CLUSTER-IP     EXTERNAL-IP    PORT(S)                                                                                       AGE
service/opentelemetry-collector   LoadBalancer   10.0.175.135   20.103.18.53   14250:30982/TCP,14268:32461/TCP,4317:31539/TCP,4318:31581/TCP,8889:32420/TCP,9411:30003/TCP   27m

NAME                                      READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/opentelemetry-collector   1/1     1            1           27m

NAME                                                 DESIRED   CURRENT   READY   AGE
replicaset.apps/opentelemetry-collector-58477c8c89   1         1         1       27m

记下服务的外部 IP，以便以后可以对其进行查询。

安装 OpenTelemetry 收集器后，现在可以将自承载网关部署到群集。

部署自承载网关

重要

若要详细了解如何使用 Helm 部署自承载网关以及如何获取所需的配置，建议阅读这篇文章。

在本部分中，我们将通过 Helm 将自承载网关部署到群集，并将其配置为将 OpenTelemetry 指标发送到 OpenTelemetry 收集器。

安装 Helm 图表，并将其配置为使用 OpenTelemetry 指标：

helm install azure-api-management-gateway \
             --set gateway.configuration.uri='<your configuration url>' \
             --set gateway.auth.key='<your auth token>' \
             --set observability.opentelemetry.enabled=true \
             --set observability.opentelemetry.collector.uri=http://opentelemetry-collector:4317 \
             --set service.type=LoadBalancer \
             azure-apim-gateway/azure-api-management-gateway

注意

opentelemetry-collector 在上面的命令中是 OpenTelemetry 收集器的名称。如果服务具有不同的名称，请更新名称。

通过获取 Helm 图表的所有资源来验证安装

$ kubectl get all -l app.kubernetes.io/instance=apim-gateway
NAME                                                            READY   STATUS    RESTARTS   AGE
pod/apim-gateway-azure-api-management-gateway-fb77c6d49-rffwq   1/1     Running   0          63m

NAME                                                TYPE           CLUSTER-IP    EXTERNAL-IP    PORT(S)                         AGE
service/apim-gateway-azure-api-management-gateway   LoadBalancer   10.0.67.177   20.71.82.110   8080:32267/TCP,8081:32065/TCP   63m

NAME                                                        READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/apim-gateway-azure-api-management-gateway   1/1     1            1           63m

NAME                                                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/apim-gateway-azure-api-management-gateway-fb77c6d49   1         1         1       63m

记下自承载网关服务的外部 IP，以便以后可以对其进行查询。

生成并使用 OpenTelemetry 指标

部署 OpenTelemetry 收集器和自承载网关之后，接下来可以开始使用 API 来生成指标。

注意

对于本演练，我们将使用默认的“Echo API”。

请确保按如下方式进行配置：

允许 HTTP 请求
允许自承载网关公开它。

在自承载网关上查询 Echo API：

$ curl -i "http://<self-hosted-gateway-ip>:8080/echo/resource?param1=sample&subscription-key=abcdef0123456789"
HTTP/1.1 200 OK
Date: Mon, 20 Dec 2021 12:58:09 GMT
Server: Microsoft-IIS/8.5
Content-Length: 0
Cache-Control: no-cache
Pragma: no-cache
Expires: -1
Accept: */*
Host: echoapi.chinacloudapp.cn
User-Agent: curl/7.68.0
X-Forwarded-For: 10.244.1.1
traceparent: 00-3192030c89fd7a60ef4c9749d6bdef0c-f4eeeee46f770061-01
Request-Id: |3192030c89fd7a60ef4c9749d6bdef0c.f4eeeee46f770061.
Request-Context: appId=cid-v1:c24f5e00-aa25-47f2-bbb5-035847e7f52a
X-Powered-By: Azure API Management - http://api.azure.com/,ASP.NET
X-AspNet-Version: 4.0.30319

自承载网关现在将度量请求，并将指标发送到 OpenTelemetry 收集器。

在 http://<collector-service-ip>:8889/metrics 上的收集器上查询 Prometheus 终结点。可得到类似于下面的指标：

# HELP azure_apim_BackendDurationInMs 
# TYPE azure_apim_BackendDurationInMs histogram
azure_apim_BackendDurationInMs_bucket{Hostname="20.71.82.110",le="5"} 0 1640093731340
[...]
azure_apim_BackendDurationInMs_count{Hostname="20.71.82.110"} 22 1640093731340
# HELP azure_apim_ClientDurationInMs 
# TYPE azure_apim_ClientDurationInMs histogram
azure_apim_ClientDurationInMs_bucket{Hostname="20.71.82.110",le="5"} 22 1640093731340
[...]
azure_apim_ClientDurationInMs_count{Hostname="20.71.82.110"} 22 1640093731340
# HELP azure_apim_DurationInMs 
# TYPE azure_apim_DurationInMs histogram
azure_apim_DurationInMs_bucket{Hostname="20.71.82.110",le="5"} 0 1640093731340
[...]
azure_apim_DurationInMs_count{Hostname="20.71.82.110"} 22 1640093731340
# HELP azure_apim_GatewayDurationInMs 
# TYPE azure_apim_GatewayDurationInMs histogram
azure_apim_GatewayDurationInMs_bucket{Hostname="20.71.82.110",le="5"} 0 1640093731340
[...]
azure_apim_GatewayDurationInMs_count{Hostname="20.71.82.110"} 22 1640093731340
# HELP azure_apim_Requests 
# TYPE azure_apim_Requests counter
azure_apim_Requests{BackendResponseCode="200",BackendResponseCodeCategory="2xx",Cache="None",GatewayId="Docs",Hostname="20.71.82.110",LastErrorReason="None",Location="GitHub",ResponseCode="200",ResponseCodeCategory="2xx",Status="Successful"} 22 1640093731340

清理

至此已完成本教程，现在可轻松清理群集，如下所示：

卸载自承载网关 Helm 图表：
```
helm uninstall apim-gateway
```
卸载 OpenTelemetry 收集器：
```
helm uninstall opentelemetry-collector
```

后续步骤

若要详细了解自承载网关，请参阅自承载网关概述。

详细了解 Azure API 管理网关的可观测性功能。