Azure Cosmos DB:无 ETL 分析用例

适用范围: NoSQL

Azure Cosmos DB 提供了各种分析选项,用于对操作数据进行无 ETL 的准实时分析。 可以使用以下选项对 Azure Cosmos DB 数据启用分析:

  • 用于 Microsoft Fabric 的 Azure Cosmos DB 镜像
  • Microsoft Fabric 中的 Cosmos DB

若要了解有关这些选项的详细信息,请参阅 Azure Cosmos DB 数据上的分析和 BI。

重要

新项目不再支持 Synapse Link for Cosmos DB。 请勿使用此功能。

请使用现已正式发布的 Microsoft Fabric 的 Azure Cosmos DB 镜像。 镜像提供相同的零 ETL 优势,并与 Microsoft Fabric 完全集成。

无 ETL 的准实时分析可以为企业开辟各种可能性。 下面是三个示例方案:

  • 供应链分析、预测和报告
  • 实时个性化设置
  • IOT 方案中的预测性维护,异常情况检测

此外,作为具有延迟 SLA 的 NoSQL 数据库,Cosmos 是一个惊人的服务层,可以极快且具有较高的并发性来为数据提供服务。 若要详细了解如何使用 Cosmos DB 实现此模式,请参阅反向 ETL 与 Cosmos DB

供应链分析、预测和报告

研究表明,在供应链操作中嵌入大数据分析会改进订单循环交付时间并提高供应链效率。

制造商载入云原生技术,以打破旧版企业资源规划 (ERP) 和供应链管理 (SCM) 系统的约束。 随着供应链每分钟不断生成操作数据(订单、发货、事务数据),制造商需要一个操作数据库。 此操作数据库应进行扩展,以便能够处理数据卷和分析平台,以达到某一级别的实时上下文智能,从而保持领先优势。

以下体系结构展示了将 Azure Cosmos DB 用作供应链分析中的云原生操作数据库的能力:

供应链中 Azure Cosmos DB 的实时分析示意图。

根据以前的体系结构,可以实现以下用例:

  • 准备和训练预测管道:使用机器学习转换生成有关供应链中运营数据的见解。 这样,你就可以降低库存、运营成本,并为客户减少订单交付时间。

镜像允许分析 Azure Cosmos DB 中不断变化的作数据,而无需任何手动 ETL 过程。 这些产品/服务节省了额外的成本,并降低了延迟和操作复杂性。 它们使数据工程师和数据科学家能够生成可靠的预测管道:

  • 通过与 Apache Spark 的本机集成在 Microsoft Fabric 中从 Azure Cosmos DB 查询操作数据。 无需复杂的数据工程即可查询交互式笔记本或计划的远程作业中的数据。

  • 在 Microsoft Fabric 中使用 Spark ML 生成机器学习 (ML) 模型。

  • 在使用 Reverse-ETL 与 Cosmos DB 的 Python SDK 或 Spark SDK 进行模型推理之后,把结果写回到 Azure Cosmos DB,以实现近实时操作评分。

  • 操作报告:供应链团队需要针对实时、准确的操作数据的灵活且自定义报表。 需要这些报表来获取供应链有效性、盈利和效率的快照视图。 它允许数据分析人员和其他关键利益干系人不断地重新评估业务,并标识要调整的领域以降低运营成本。

Azure Cosmos DB 的镜像可实现丰富的商业智能(BI)/报告方案:

  • 通过使用与 T-SQL 语言完整表达性的本机集成,从 Azure Cosmos DB 查询操作数据。

  • 通过 Microsoft Fabric 集成的 Power BI 在 Azure Cosmos DB 上对自动刷新的 BI 仪表板进行建模和发布。

下面是将批处理数据和流式处理数据集成到 Azure Cosmos DB 的一些指南:

  • 批处理数据集成和业务流程:随着供应链变得越来越复杂,供应链数据平台需要与各种数据源和格式集成。 Microsoft Fabric 和 Azure Synapse 内置了与 Azure 数据工厂相同的数据集成引擎和体验。 此集成使数据工程师无需单独的业务流程引擎即可创建丰富的数据管道:

  • 流式处理数据集成处理:随着 IoT(从“车间到商店”跟踪资产的传感器、连接的物流车队等)的发展,以流式处理方式生成的实时数据呈现爆炸式的增长,需要与传统的慢速移动数据集成以生成见解。 Azure 流分析是一种建议流式处理 ETL 以及使用各种方案在 Azure 上处理的服务。 Azure 流分析支持将 Azure Cosmos DB 作为本机数据接收器

实时个性化设置

当前,零售商必须构建安全、可缩放且满足客户和业务需求的电子商务解决方案。 这些电子商务解决方案需要通过自定义的产品和套餐吸引客户,快速且安全地处理事务,将重点放在履约和客户服务上。 通过 Azure Cosmos DB 和最新的 Synapse Link for Azure Cosmos DB,零售商可以实时为客户生成个性化建议。 它们使用低延迟和可优化的一致性设置快速获取见解,如以下体系结构所示:

实时个性化设置中的 Azure Cosmos DB 示意图。

  • 准备和训练预测管道: 可以使用 Fabric 机器学习模型跨业务部门或客户细分生成有关运营数据的见解。 这样可以针对客户细分市场、预测性最终用户体验和目标市场营销生成个性化交付,以满足最终用户的要求。

IOT 预测性维护

行业 IOT 创新大大降低了机器停机时间,并提高了行业所有领域的整体效率。 此类创新之一是云边缘的机器的预测性维护分析。

下面是在 IoT 预测性维护中使用云原生 HTAP 功能的体系结构:

IOT 预测性维护中的 Azure Cosmos DB 示意图。

  • 准备和训练预测管道:IoT 设备传感器的历史运营数据可用于训练异常探测器等预测模型。 然后,会将这些异常检测器部署回边缘以进行实时监视。 此类良性循环允许持续重新训练预测模型。

  • 操作报告:随着数字孪生计划的增加,公司从大量传感器收集大量操作数据,以生成每台计算机的数字副本。 此数据支持 BI 需求,不仅可用于了解最新热数据,还可了解历史数据的趋势。