使用 Lakeflow Jobs 编排任务,以读取和处理示例数据集。 在本快速入门中,请执行以下操作:
创建一个新笔记本,添加代码来读取房产预订的示例数据集。
将数据集保存到Unity Catalog。
创建新的笔记本并添加代码,以从 Unity Catalog 读取数据集,按年份对其进行筛选,并显示结果。
使用笔记本创建新作业并配置两个任务。
运行作业并查看结果。
要求
如果工作区启用了 Unity Catalog,并且启用了无服务器作业,则默认情况下作业会在无服务器计算上运行。 你不需群集创建权限即可使用无服务器计算来运行作业。
否则,你必须拥有创建作业计算的群集创建权限或对通用计算资源的权限。
本快速入门从 samples.wanderbricks.bookings 读取数据,而该对象在每个启用了 Unity Catalog 的工作区中都可用,因此无需设置源数据。 要写入第二个笔记本读取的表,你需要具备在编录中创建架构的权限(即 USE CATALOG 和 CREATE SCHEMA 权限)。
若要设置这些权限,请咨询您的 Databricks 管理员或查阅 Unity Catalog 权限参考。
创建笔记本
以下步骤创建两个笔记本以在此工作流中运行。
检索和保存数据
要创建一个读取样本数据集并保存到 Unity 目录的笔记本:
单击侧栏中的“
新建 ”,然后单击“ 笔记本”。Databricks 会在默认文件夹中创建一个新的空白笔记本并将其打开。 默认语言是你最近使用的语言,笔记本会自动附加到你最近使用的计算资源。
(可选)重命名笔记本 获取预订数据。
如果需要,可将默认语言更改为 Python。
复制以下 Python 代码并将其粘贴到笔记本的第一个单元格中。 运行前,先检查一下,
catalog并schema指向一个你可以写入的地方。 如果不存在模式,代码会创建它。catalog = "main" schema = "example_output" spark.sql(f"CREATE SCHEMA IF NOT EXISTS {catalog}.{schema}") bookings = spark.read.table("samples.wanderbricks.bookings") bookings.write.mode("overwrite").saveAsTable(f"{catalog}.{schema}.bookings")
读取和显示经过筛选的数据
创建用于筛选和显示数据的笔记本:
单击侧栏中的“
新建 ”,然后单击“ 笔记本”。(可选)将笔记本重命名为 Filter booking data。
以下 Python 代码读取你在上一步保存的表格,并创建一个临时视图。 它还创建了一个小部件,可以用来按签到年份过滤视图中的数据。 使用与你在第一个笔记本中使用的相同
catalog和schema值。from pyspark.sql.functions import year catalog = "main" schema = "example_output" bookings = spark.read.table(f"{catalog}.{schema}.bookings") bookings.createOrReplaceTempView("bookings_table") years = spark.sql("SELECT DISTINCT year(check_in) AS year FROM bookings_table").toPandas()["year"].tolist() years.sort() dbutils.widgets.dropdown("year", "2025", [str(x) for x in years]) display(bookings.filter(year(bookings.check_in) == dbutils.widgets.get("year")))
创建作业
要创建的作业由两个任务组成。
请按照以下步骤创建第一个任务:
在工作区中,单击
,然后在边栏中选择作业和管道。
单击创建,然后选择作业。
单击 “笔记本” 磁贴以配置第一个任务。 如果 笔记本 磁贴不可用,请单击“ 添加其他任务类型 ”并搜索 笔记本。
(可选)将作业的名称(默认为
New Job <date-time>)替换为作业名称。在 任务名称 字段中输入任务名称;例如, 取回预订。
如有必要,请从“类型”下拉菜单中选择“笔记本”。
在 “源 ”下拉菜单中,选择 “工作区”,以便使用之前保存的笔记本。
对于 Path,请使用文件浏览器查找创建的第一个笔记本,单击笔记本名称,然后单击“ 确认”。
单击“保存任务”。 屏幕右上角会显示一条通知。
创建第二个任务:
单击
添加任务>笔记本。
在 任务名称 字段中输入任务名称;例如, 筛选预订。
对于 Path,请使用文件浏览器查找创建的第二个笔记本,单击笔记本名称,然后单击“ 确认”。
在“参数”下单击“添加” 。 在“键”字段中,输入
year。 在“值”字段中,输入 。2025单击“保存任务”。
运行任务
若要立即运行作业,请单击右上角的
。
查看运行详细信息
单击“ 运行 ”选项卡,然后单击“ 开始时间”列中 的链接以打开要查看的运行。
点击任一任务查看输出和详细信息。 例如,点击 筛选预订 任务以查看过滤任务的输出和运行详情:
使用不同的参数运行
要重新运行工作并筛选不同年份的预订:
点击在立即运行旁边的“蓝色下拉箭头”,然后选择使用不同的设置立即运行。
在“值”字段中,输入 。
2024单击 “运行” 。
其他资源
- 配置作业设置,例如计划、通知和参数。 请参阅 配置和编辑 Lakeflow 作业。
- 浏览可用的任务类型。 请参阅 任务类型。
- 按计划或新数据到达时自动运行作业。 请参阅 使用计划和触发器自动执行作业。
- 监控作业运行情况并设置警报。 请参阅 监控 Lakeflow 作业。