无服务器日志传递是将无服务器作业的应用日志写入 Unity 目录卷。 工作区管理员为工作区配置目的地,使团队能够保留日志并使用可观测工具处理日志。 日志在作业完成后异步传输。 送达可能需要几分钟,且会根据处理和上传时间有所不同。
Important
此功能在 Beta 版中。 要使用它,工作区管理员必须从预览页面开启对 Unity 目录卷的无服务器日志传递。 请参阅 Manage Azure Databricks 预览版。
要求
一个支持无服务器计算和 Unity Catalog 的工作区。
无服务器 环境版本 5 或更高版本。
用于配置日志传送的工作区管理员角色 参见 将工作区管理员角色分配给用户。
工作区启用了 Unity 目录卷的无服务器日志交付 预览功能。 它可能已经被启用了。 如果此功能被禁用,工作区管理员可以在 预览 页面启用。 启用预览后,配置可用;但不会开始交付。
一个目标卷。 配置交付的管理员需要对其目录具有
USE SCHEMA、对其模式具有READ VOLUME,并对卷具有WRITE VOLUME和USE CATALOG。 请参阅 Unity 目录卷的特权。
Note
仅将交付配置到访问受限的受信任卷。 已交付日志可能包含敏感信息,包括用户电子邮件、存储路径、栈跟踪、内部标识符和临时签名URL。 日志不保证不包含敏感信息。
访问目的地的用户可以阅读已交付的日志,包括其他用户作业的日志。 相应限制对存储卷的访问。
启用日志传递
工作区管理员必须启用工作区的日志传递功能。
在用户菜单中打开设置。
在 工作区管理员下,点击 计算资源。
在 日志交付 部分,开启 无服务器日志交付。
在 “配置日志传递”中,输入 卷路径,例如
/Volumes/observability/production/serverless_logs,或点击文件夹图标浏览卷。单击“ 保存”。 保存该目的地会启用投递。
该设置适用于工作区层面。 你不需要单独配置每个作业。
读取已传送的日志
应用输出包括用户代码的标准输出和标准错误,包括用户自定义函数(UDF)。 使用 Catalog Explorer 浏览目标卷并检查已交付的文件。 请参阅 在 Unity Catalog 卷中处理文件。
日志传递不提供集群指标或查询配置/分析资料。 使用作业运行页面来调查运行状态和性能,同时查看应用日志。 请参阅 监控 Lakeflow 作业。
通过 SQL 查询已传送日志
使用 read_files 查询已交付的文本文件。 将本例中的卷路径替换为你的目标位置。 要读取日志,你需要在目录上具有 USE CATALOG、在架构上具有 USE SCHEMA,并在卷上具有 READ VOLUME 权限。
创建一个临时视图,从文件路径中提取作业和运行标识符,并保留每行日志输出:
CREATE OR REPLACE TEMPORARY VIEW serverless_job_logs AS
SELECT
regexp_extract(_metadata.file_path, '/job_id=([^/]+)/', 1) AS job_id,
regexp_extract(_metadata.file_path, '/job_run_id=([^/]+)/', 1) AS job_run_id,
regexp_extract(_metadata.file_path, '/task_run_id=([^/]+)/', 1) AS task_run_id,
_metadata.file_name AS file_name,
value AS log_line
FROM read_files(
'/Volumes/observability/production/serverless_logs/',
format => 'text'
);
查找跨各次作业运行中包含错误的行:
SELECT job_id, job_run_id, task_run_id, file_name, log_line
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%';
识别错误线最多的作业:
SELECT
job_id,
count(*) AS error_lines,
count(DISTINCT job_run_id) AS affected_runs
FROM serverless_job_logs
WHERE log_line LIKE '%ERROR%'
GROUP BY job_id
ORDER BY error_lines DESC;
这些查询搜索的是字面文本 ERROR。 调整过滤器以匹配你的应用程序日志记录格式。 请参阅 read_files 表值函数。
更改目的地或禁用投递
要更改目的地,打开设置>>计算日志,点击卷名旁的铅笔图标,输入或浏览到新路径,然后点击保存。 保存目的地会启用投递,包括在投递被禁用时。
要禁用传递,请打开 设置 > 计算 > 日志传递 并关闭 无服务器日志传递。 该设置会保留目标位置,这样你可以在不选择其他卷的情况下再次启用传送。 禁用交付并不会删除已经写入卷的文件。 分别管理这些文件的访问和保留期。
排查丢失的日志
如果作业完成后日志未出现:
检查是否已在设置 > 计算 日志传递下启用>。 仅启用预览并不能启动投递。
检查配置好的卷是否存在,并且负责配置交付的管理员是否保留所需的权限。
确认作业使用无服务器计算并产生应用输出。 作业完成后,请等待几分钟以完成异步交付。 处理和上传可能需要一些时间,因此交付可能会延迟。
关于经典的计算日志交付,请参见 计算日志交付。