可以使用适用于 Visual Studio Code 的 Azure 流分析 Tools(ASA Tools)在本地测试流分析作业。 谈到区域时,需要考虑三个方面:作业执行上下文(本地计算机或Azure云服务)、输入源和输出接收器。
在本地运行中,查询在本地计算机上执行。 对于输入,可以从本地文件或实时源引入数据。 输出结果要么以文件形式发送到本地文件夹,要么发送到实时接收器。
本地运行的输入注意事项
在 VS Code 中,可以定义 实时输入和本地输入:
- 实时输入 是指向受支持输入实例的配置文件(流和引用数据)。 他们还提供对 JSON 文件的预览和示例数据。
- 本地输入 是指向受支持格式的本地文件的配置文件(JSON/CSV/AVRO)。 可以从实时输入采样这些文件,也可以以任何其他方式生成。
创建本地输入时,它可以与现有的实时输入保持一致。 在这种情况下,它将模拟本地输入运行期间的实时输入。 其配置文件将以实时输入命名,其前缀为 Local_。 此本地输入使用的数据文件不应遵循实时输入中定义的格式和序列化格式。 它们的格式是独立的。
本地运行时的输出注意事项
将作业运行到 本地输出时,输出结果将发送到项目中名为 LocalRunOutputs 的文件夹。 在此模式下,不需要定义输出。 唯一的约束是 INTO 查询中的每个语句指向唯一的输出名称。 运行到本地输出后,将为每个唯一的输出名称创建 JSON 文件。
本地运行模式
VS Code 中的 ASA 工具支持在本地运行作业的三种模式:
- 使用本地输入和本地输出在本地运行:最适合零成本离线开发,以及使用 npm 包进行单元测试…
- 使用实时输入和本地输出进行本地运行:最适合输入配置、取消序列化和分区调试...
- 使用实时输入和实时输出进行本地运行:最适合输出配置、序列化和转换错误调试...
每个模式都支持不同的输入和输出配置:
| Execution | 模式 | Input | Output |
|---|---|---|---|
| VS Code | 本地输入到本地输出 | JSON/CSV/AVRO 文件 | JSON 文件(即使存在,也不使用相应的实时输出格式) |
| VS Code | 实时输入到本地输出 | 所有输入适配器 | JSON 文件(即使存在,也不使用相应的实时输出格式) |
| VS Code | 实时输入到实时输出 | 所有输入适配器 | 事件中心、存储帐户、Azure SQL |
| Azure | N/A | 所有输入适配器 | 所有输出适配器 |
在本地运行作业时,Azure 流分析服务不会产生任何费用。 无需在Azure中创建流分析资源。
入门
使用本快速入门了解如何使用 Visual Studio Code 和 ASA 工具创建流分析作业。
接下来,有关本地运行的分步教程,请参阅: