Azure 流分析文档

关于 Azure 流分析

快速入门

• 使用 Azure 门户创建作业

概述

• 什么是 Azure 流分析？
• Azure 流分析解决方案模式

新变化

• 流分析兼容性级别
• 流分析预览功能

概念

• 选择流分析技术
• 为作业选择开发工具

将作业连接到数据源

概述

• 了解输入类型

概念

• 对输入数据进行流式处理
• 联接参考数据以便于查找

操作指南

• 使用 SQL 数据库中的参考数据
• 排查输入连接问题
• 处理“用于事件中心的 Apache Kafka”事件
• 处理来自 Azure 事件中心的数据

将数据发送到输出接收器

概述

• 了解输出类型

概念

• 输出到 Cosmos DB
• 输出到 Azure SQL 数据库
• 自定义 Blob 输出分区
• 输出错误处理策略

操作指南

• 排查输出连接问题

监视作业并排查其问题

操作指南

• “监视”简介
• 使用 Azure PowerShell 监视作业
• 使用 Azure .NET SDK 创建作业监视器
• 从 Visual Studio 中监视和管理作业
• 排查数据错误

查看临时概念

概念

• 通用查询模式
• 了解流分析中的时间处理
• 内部检查点和重播

使用流分析查询转换数据

概念

• 开窗函数简介
• 地理空间函数简介
• 分析 JSON 和 Avro 数据

操作指南

• 排查查询逻辑问题
• 编写 JavaScript 用户定义的聚合

教程

• 运行 JavaScript 用户定义的函数

通过机器学习进行分析

操作指南

• 使用机器学习来检测异常
• 使用 Azure 机器学习工作室执行情绪分析（经典）
• 使用机器学习工作室函数扩展作业

利用开发人员工具创建和管理作业

操作指南

• 使用 Visual Studio Code 探索作业
• 在 Visual Studio Code 中使用示例数据测试查询
• 安装适用于 Visual Studio 的工具
• 在 Visual Studio 中使用示例数据测试查询
• 在 Visual Studio 中使用实时数据测试查询
• 在 Visual Studio 中查看作业
• 在 Visual Studio 中开发 IoT Edge 作业

试用流分析教程和解决方案

教程

• 触发 Azure 函数

操作指南

• 构建带有地理围栏和地理空间聚合功能的解决方案
• 在 IoT Edge 上运行作业
• 实时欺诈检测
• 构建 IoT 解决方案
• 高频交易模拟
• 基于可调整规则阈值的警报

部署流分析作业

教程

• 在 Azure Pipelines 中通过 CI/CD 部署作业

操作指南

• 使用 Visual Studio Code 设置 CI/CD 管道
• 使用 Visual Studio 设置 CI/CD 管道
• 使用 REST API 为 IoT Edge 作业设置 CI/CD

扩展流分析作业

操作指南

• 利用流单元进行缩放
• 利用查询并行度进行缩放
• 扩展作业以增加吞吐量
• 通过重新分区优化处理