Compartilhar via

在 Azure 上选择实时分析和流式处理技术

Azure 上有多个服务可用于实时分析和流式处理。 本文提供了确定哪种技术最适合应用程序的信息。

何时使用 Azure 流分析

建议使用 Azure 流分析服务在 Azure 上进行流分析。 可以将其用于包括但不限于以下各种方案：

  • 用于数据可视化的仪表板
  • 来自时态和空间模式或异常的实时警报
  • 提取、转换、加载（Extract, Transform, Load，ETL）
  • 事件溯源模式
  • IoT Edge

将 Azure 流分析作业添加到应用程序是使用已知道的 SQL 语言在 Azure 中启动和运行流分析的最快捷方法。 Azure 流分析是一项作业服务，因此无需花时间管理群集，并且在作业级别上有 99.9% 的服务水平协议（SLA），无需担心停机。 在作业级别计费，启动成本较低（一个流单元），但可扩展（最多可达396个流单元）。 运行一些流分析作业比运行和维护群集更具成本效益。

Azure 流分析具有丰富的开箱即用的体验。 无需任何额外的设置，即可立即利用以下功能：

  • 内置时态运算符，如 开窗聚合、时态联接和时态分析函数。
  • 本机 Azure 输入和输出适配器
  • 支持更改缓慢的 引用数据（也称为查找表），包括通过与地理空间参考数据的联接来实现地理围栏。
  • 集成解决方案，例如 异常情况检测
  • 同一查询中的多个时间窗口
  • 能够在任意序列中组合多个临时运算符。
  • 从输入到达事件中心，到在事件中心的输出落地，端到端延迟低于 100 毫秒，包括往返事件中心的网络延迟，并保持高吞吐量。

何时使用其他技术

你想要以 JavaScript 或 C 以外的语言编写 UDF、UDA 和自定义反序列化程序#

Azure 流分析支持 JavaScript 中用于云作业的用户定义函数（UDF）或用户定义的聚合（UDA），以及 IoT Edge 作业的 C# 。 还支持 C# 用户定义的反序列化程序。 如果要以其他语言（如 Java 或 Python）实现反序列化程序、UDF 或 UDA，可以使用 Spark 结构化流式处理。 还可以在自己的虚拟机上运行事件中心 EventProcessorHost 来执行任意流式处理。

解决方案位于多云或本地环境中

Azure 流分析是Microsoft专有技术，仅在 Azure 上可用。 如果需要解决方案可跨云或本地移植，请考虑使用开源技术，例如 Spark 结构化流式处理或 Storm。

后续步骤

  • Last updated on