Compartilhar via

欢迎使用Azure流分析

Azure流分析是一个完全托管的流处理引擎,用于以亚毫秒级的延迟分析和处理大量流数据。 可以使用流分析来生成流式处理数据管道,以识别源自各种输入源的数据中的模式和关系,包括应用程序、设备、传感器、点击流和社交媒体源。 然后,使用这些模式触发作并启动工作流,例如向报告工具发出警报、将信息馈送给报告工具,或存储转换后的数据供以后使用。 流分析在Azure IoT Edge运行时中也可用,可用于直接从 IoT 设备处理数据。

下面是一些可以使用流分析的示例方案:

  • 传感器数据中的异常情况检测,以检测峰值、下降和缓慢的正和负变化。
  • 车队管理和无人驾驶车辆的地理空间分析。
  • 对高价值资产进行远程监视和预测性维护。
  • 点击流分析可确定客户行为。
  • 分析应用程序和 IoT 设备的实时遥测流和日志。

显示流式处理管道中引入阶段、分析阶段和交付阶段的关系图。

以下部分提供有关使用Azure流分析的关键功能和优势的信息。

完全托管的服务

流分析是Azure上完全托管的 (PaaS) 产品/服务。 无需预配任何硬件或基础结构、更新操作系统或软件。 流分析完全管理作业,因此你可以专注于业务逻辑,而不是基础结构。

易于使用

流分析易于启动。 只需单击几下鼠标即可创建连接到多个源和接收器的端到端流式处理数据管道。

可以创建一个流分析作业,用于连接 Azure Event Hubs 和 Azure IoT Hub 以引入流数据,以及使用 Azure Blob Storage 或 Azure Data Lake Storage Gen2 以引入历史数据。 流分析作业的输入可以包含来自 Azure Blob 存储或 SQL 数据库的静态或变化缓慢的引用数据,这些数据可以与流数据联接以执行查找操作。 有关 Stream Analytics 输入的详细信息,请参阅将数据流作为输入提供给 Stream Analytics

可以将流分析作业的输出路由到许多storage系统,例如Azure Blob storage、Azure SQL Database、Azure Data Lake Store 和 Azure Cosmos DB。 还可以使用 Azure Synapse Analytics 或 HDInsight 在流输出上运行批处理分析,也可以将输出发送到其他服务,例如事件中心供使用或 Power BI 进行实时可视化。 有关流分析 输出的完整列表,请参阅 了解流分析的输出

程序员工作效率

流分析使用一种 SQL 查询语言,通过强大的时态约束来分析动态数据。 可以通过 Azure portal 创建流分析作业。 还可以使用开发者工具创建作业,例如下列工具:

流分析查询语言提供一系列用于分析流数据的函数来帮助执行复杂事件处理 (CEP)。 此查询语言支持简单的数据操作、聚合和分析函数、地理空间函数、模式匹配和异常情况检测。 可以在门户中或使用开发工具编辑查询,并使用从实时流中提取的示例数据对其进行测试。

可以通过定义和调用其他函数来扩展查询语言的功能。 可以在Azure Machine Learning中定义函数调用,以利用Azure Machine Learning解决方案,并集成 JavaScript 或 C# 用户定义的函数(UDF)或用户定义的聚合,以在流分析查询中执行复杂计算。

在云中或智能边缘上运行

流分析可以在云中运行、进行大规模分析,或在IoT Edge或Azure Stack上运行,以便进行超低延迟分析。 流分析在云和边缘上使用相同的工具和查询语言,使开发人员能够构建真正的混合体系结构进行流处理。

总拥有成本低廉

流分析作为云服务被优化以降低成本。 没有前期成本,只需为 消耗的流式处理单位付费。 无需承诺使用量,也无需预配群集,可以根据业务需求灵活地扩展或缩减作业规模。

流分析在全球多个区域提供,旨在通过支持可靠性、安全性和符合性要求来运行任务关键型工作负荷。

可靠性

流分析保证精确一次事件处理,并且至少一次的事件传递,从而确保事件永远不会丢失。 根据事件传递保证,所选输出保证恰好处理一次。

如果事件传送失败,流分析具有内置恢复功能。 流分析还提供内置的检查点来维护作业的状态,并提供可重复的结果。

为了提高可靠性,启用 可用性区域的区域中的流分析会自动跨多个区域分配作业资源,而无需额外的配置或成本。 此区域冗余部署可确保即使整个可用性区域变得不可用,流式处理作业也会继续处理,从而防范区域级基础结构故障。

有关流分析如何支持可用性区域和多区域灾难恢复选项的详细信息,请参阅 Stream Analytics 中的可靠性

作为一项托管服务,流分析可保证事件处理在分钟级别粒度具备 99.9% 的可用性。

安全性

就安全性而言,流分析会加密所有传入和传出通信,并支持传输层安全性 (TLS) 1.2。 内置检查点也是加密的。 流分析不存储传入数据,因为所有处理都在内存中完成。

性能

流分析可以每秒处理数百万事件,而且传送结果时的延迟也极低。 它允许你横向扩展以适应工作负载。 流分析通过分区支持高性能,允许将复杂的查询并行化,并在多个流式处理节点上执行这些查询。 流分析基于 Trill,这是与 Microsoft Research 协作开发的高性能内存中流分析引擎。

后续步骤

现在,你已大致了解流分析。 接下来,您可以进一步深入地进行尝试,并创建您的第一个流分析作业。