迁移到 Azure 数据资源管理器

注意

2025 年 3 月之后,将不再支持时序见解 (TSI) 服务。 请考虑尽快将现有 TSI 环境迁移到备用解决方案。 有关弃用和迁移的详细信息,请访问我们的文档

概述

时序见解 (TSI) 服务用于访问通过中心引入的历史数据,以便进行运营分析和报告。 服务功能包括:

  • 通过中心或批量上传功能进行数据引入。
  • 在热有限保留期和冷无限保留期路径上存储数据。
  • 通过时序模型应用层次结构进行数据语境化。
  • 通过 TSI 资源管理器进行数据绘图和运营分析。
  • 使用 TSQ 通过 API 或 TSI 资源管理器进行数据查询。
  • 使用 Databricks Spark 或 PBI 访问数据的连接器。

与 Azure 数据资源管理器 (ADX) 的功能比较

功能 TSI ADX
数据引入 事件中心,IoT 中心限制为 1 MB/秒 事件中心、IoT 中心、Kafka、Spark、Azure 存储、Azure 流分析、Azure 数据工厂、Logstash、电源自动化、逻辑应用、Telegraf、Apache Nifi。 引入没有限制(可伸缩),引入基准为在 ADX 群集中的 16 核计算机上 200 MB/秒/节点。
数据存储和保留 暖存储 - 多租户 ADX 群集 冷存储 - 客户的订阅中的 Azure Blob 存储;分布式列式存储,其中包含高度优化的热存储(在计算节点的 SSD 上)和冷存储(在 Azure 存储上)。 选择任何 ADX SKU 以实现完全灵活性
数据格式 JSON JSON、CSV、Avro、Parquet、ORC、TXT 以及各种其他 Azure 数据资源管理器支持引入的数据格式
数据查询 TSQ KQL、SQL
数据可视化 TSI 资源管理器、PBI PBI、ADX 仪表板、Grafana、Kibana 和其他使用 ODBC/JDBC 连接器的可视化工具
机器学习 NA 支持 R、Python,以通过导出现有机器学习模型来生成机器学习模型或分数数据。 用于预测的本机功能。 大规模异常检测。 用于诊断和 RCA 的群集功能
PBI 连接器 公共预览版 优化的本机 PBI 连接器 (GA)、支持直接查询或导入模式、支持查询参数和筛选器
数据导出 数据在 BLOB 存储中作为 Parquet 文件提供 支持自动将数据连续导出到 Azure 存储,外部表用于查询导出的数据
HA/DR 存储归客户所有,因此依赖于所选的配置。 99.9% 可用性的 HA SLA,支持 AZ,存储是基于持久的 Azure Blob 存储构建的
安全性 传入流量具有专用链接,但对于存储和中心开放 VNet 注入、专用链接、支持客户托管密钥的静态加密
RBAC 角色和 RLS 受限的 RBAC 角色,无 RLS 用于功能和数据访问的粒度 RBAC 角色,支持 RLS 和数据掩码

TSI 迁移到 ADX 的步骤

TSI 提供了两个产品/服务:Gen1 和 Gen2,它们具有不同的迁移步骤。

TSI Gen1

TSI Gen1 没有冷存储或层次结构功能。 所有数据都具有固定的保留期。 对于 TSI 开发人员和客户而言,提取数据并将其映射到 ADX 的过程复杂且耗时。 建议的迁移路径是设置向 ADX 的并行数据引入。 在固定的数据保留期过后,可以删除 TSI 环境,因为 ADX 将包含相同的数据。

  1. 创建 ADX 群集
  2. 设置从中心向 ADX 群集的并行引入
  3. 在固定保留期内继续引入数据
  4. 开始使用 ADX 群集
  5. 删除 TSI 环境

如何将 TSI Gen1 迁移到 ADX 中概述了详细的常见问题和工程经验

TSI Gen2

在客户的订阅中,TSI Gen2 使用 Parquet 格式将所有数据作为 blob 存储在冷存储。 若要迁移数据,客户应使用该 blob 并使用批量上传功能 Lightingest 将其导入 ADX。 有关 Lightingest 的详细信息,请参阅此处。

  1. 创建 ADX 群集
  2. 将数据引入重定向到 ADX 群集
  3. 使用 Lightingest 导入 TSI 冷数据
  4. 开始使用 ADX 群集
  5. 删除 TSI 环境

如何将 TSI Gen2 迁移到 ADX 中概述了详细的常见问题和工程经验

注意

如果无法在 2025 年 3 月 31 日之前将时序见解迁移到 Azure 数据资源管理器,则将自动删除你的时序见解资源。 届时你将能够在存储帐户中访问 Gen2 数据。 但是,只能通过 Azure 资源管理器执行管理操作(例如更新存储帐户设置、获取存储帐户属性/密钥以及删除存储帐户)。 对于 Gen1 数据,如果你有支持计划,请创建支持票证来检索 Gen1 数据。 我们会将 Gen1 数据保留到 2025 年 4 月 30 日。