将数据从 Cribl Stream 引入 Azure 数据资源管理器

Cribl Stream 是一个处理引擎，可安全地从任何源收集、处理和流式传输计算机事件数据。 它让你可以分析并处理任何目标的数据，以便以安全的方式进行分析和管理。

本文介绍了如何使用 Cribl Stream 来引入数据。

有关数据连接器的完整列表，请参阅数据集成概述。

先决条件

• Cribl Stream 帐户
• 具有默认缓存和保留策略的 Azure 数据资源管理器群集和数据库。
• 查询环境。 有关详细信息，请参阅查询集成概览。
• Kusto 群集 URI，用于表示 TargetURI 值，格式为 https://ingest-<cluster>.<region>.kusto.chinacloudapi.cn。 有关详细信息，请参阅添加群集连接。

创建 Microsoft Entra 服务主体

Microsoft Entra 服务主体可以通过 Azure 门户或以编程方式进行创建，如下例所示。

此服务主体是连接器用来将数据写入 Kusto 中的表的标识。 授予此服务主体访问 Kusto 资源所需的权限。

1. 通过 Azure CLI 登录到你的 Azure 订阅。 然后在浏览器中进行身份验证。

   az login
   

2. 选择要托管主体的订阅。 当你有多个订阅时，此步骤是必需的。

   az account set --subscription YOUR_SUBSCRIPTION_GUID
   

3. 创建服务主体。 在此示例中，服务主体名为 my-service-principal。

   az ad sp create-for-rbac -n "my-service-principal" --role Contributor --scopes /subscriptions/{SubID}
   

4. 从返回的 JSON 数据中复制 appId、password、tenant 供将来使用。

   {
     "appId": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn",
     "displayName": "my-service-principal",
     "name": "my-service-principal",
     "password": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn",
     "tenant": "1234abcd-e5f6-g7h8-i9j0-1234kl5678mn"
   }
   

现已创建了 Microsoft Entra 应用程序和服务主体。

创建目标表

为传入数据创建一个目标表，并创建一个引入映射，将引入的数据列映射到目标表中的列。

1. 在查询编辑器中运行以下表创建命令，并将占位符 TableName 替换为目标表的名称：

   .create table <TableName> (_raw: string, _time: long, cribl_pipe: dynamic)
   

2. 运行以下 create ingestion mapping 命令，将占位符 TableName 替换为目标表名称，将 TableNameMapping 替换为引入映射的名称：

   .create table <TableName> ingestion csv mapping '<TableNameMapping>' 'CriblLogMapping' '[{"Name":"_raw","DataType":"string","Ordinal":"0","ConstValue":null},{"Name":"_time","DataType":"long","Ordinal":"1","ConstValue":null},{"Name":"cribl_pipe","DataType":"dynamic","Ordinal":"2","ConstValue":null}]'
   

3. 根据创建 Microsoft Entra 服务主体授予服务主体数据库引入者角色，并提供使用数据库的权限。 有关详细信息，请参阅示例。 将占位符 DatabaseName 替换为目标数据库的名称，将 ApplicationID 替换为创建 Microsoft Entra 服务主体时保存的 AppId 值。

   .add database <DatabaseName> ingestors ('aadapp=<ApplicationID>') 'App Registration'
   

创建 Cribl Stream 目标

以下部分介绍如何创建一个将数据写入 Kusto 中的表的 Cribl Stream 目标。 每个表都需要一个单独的 Cribl Stream 目标连接器。

选择目标

若要将 Cribl Stream 连接到你的表：

1. 在 Cribl 的顶部导航中，选择“管理”，然后选择一个辅助角色组。

2. 选择“路由”>“QuickConnect (Stream)”>“添加目标”。

3. 在“设置新的 QuickConnect 目标”窗口中，选择“Azure 数据资源管理器”，然后选择“立即添加”。

设置常规设置

在“新建数据资源管理器”窗口中，在“常规设置”中设置以下设置：

完成后，选择“下一步”。

身份验证设置

在边栏中选择“身份验证设置”。 使用你在“创建 Microsoft Entra 服务主体”中保存的值以及你的基 URI，如下所示：

然后选择下一步。

持久队列

当引入模式设置为流式处理且背压行为设置为持久队列时显示。

完成后选择“下一步”。

处理设置

完成后选择“下一步”。

Parquet 设置

当“数据格式”的选择为“Parquet”时显示。

选择 Parquet 将打开 Parquet 设置选项卡，以选择 Parquet 架构。

重试

当引入模式设置为流式处理时显示。

完成后选择“下一步”。

高级设置

从边栏中选择“高级设置”。 下面介绍了选择“批处理”时的高级设置：

完成后，选择“保存”。

连接配置

在打开的“连接配置”窗口中，选择“Passthru 连接”，然后选择“保存”。 连接器开始对数据进行排队。

确认数据引入

1. 数据到达表后，通过检查行计数来确认数据传输：

   <Tablename> 
   | count
   

2. 确认在过去五分钟内排队的引入：

   .show commands-and-queries 
   | where Database == "" and CommandType == "DataIngestPull" 
   | where LastUpdatedOn >= ago(5m)
   

3. 确认引入进程中没有失败：

   • 对于批处理：

   .show ingestion failures
   

   • 对于流式处理：

   .show streamingingestion failures 
   | order by LastFailureOn desc
   

4. 验证表中的数据：

   <TableName>
   | take 10
   

有关查询示例和指南，请参阅在 KQL 中写入查询和 Kusto 查询语言文档。

相关内容

• 数据集成概述
• Kusto 查询语言 (KQL) 概述