捆绑与探索功能

Databricks IDE 扩展在 Visual Studio Code 中提供了额外功能,使你能够定义、部署和运行声明式自动化包,并探索工作区文件和 Unity 目录。

要安装Databricks IDE扩展,请参见 “安装Databricks IDE扩展”。

项目中的声明性自动化捆绑包支持

Databricks IDE 扩展为您的声明式自动化捆绑包项目添加了以下功能:

  • 通过 Visual Studio Code UI 轻松进行身份验证和配置声明性自动化捆绑包,包括 AuthType 配置文件选择。 参见 Databricks IDE 扩展的授权设置。
  • Databricks 扩展中的 目标 选择器,用于快速切换捆绑目标环境。 请参阅更改目标部署工作区
  • 在扩展中提供了 Override Jobs cluster in bundle 选项,以便轻松覆盖集群配置。
  • Bundles 资源管理器视图,它允许你使用 Visual Studio Code UI 浏览捆绑包资源,只需单击一下即可将本地 Databricks 资产捆绑包的资源部署到远程 Azure Databricks 工作区,并直接从 Visual Studio Code 中转到工作区中的已部署资源。 请参阅捆绑包资源浏览器
  • Bundles 变量视图,可用于使用 Visual Studio Code UI 浏览和编辑捆绑包变量。 请参阅 捆绑变量

包资源浏览器

Databricks IDE 扩展中的 捆绑资源资源探索器 视图利用项目捆绑配置中的资源定义来显示资源,包括管道数据集及其模式。 它还允许你部署和运行资源、验证和执行管道的部分更新、查看管道运行事件和诊断,以及导航到远程Azure Databricks工作区中的资源。 有关捆绑包配置资源的信息,请参阅资源

例如,给定一个简单的作业定义:

resources:
  jobs:
    my-notebook-job:
      name: 'My Notebook Job'
      tasks:
        - task_key: notebook-task
          existing_cluster_id: 1234-567890-abcde123
          notebook_task:
            notebook_path: notebooks/my-notebook.py

扩展中的包资源浏览器视图显示笔记本任务资源:

捆绑包资源浏览器

部署和运行作业

若要部署捆绑包,请单击云(部署捆绑包)图标。

部署捆绑包

若要运行作业,请在“捆绑包资源浏览器”视图中,选择作业的名称,在本示例中为“我的笔记本作业”。 接下来,单击“播放”(部署捆绑包并运行资源)图标。

部署捆绑包并运行资源

若要查看正在运行的作业,请在捆绑包资源浏览器视图中展开作业名称,单击“运行状态”,然后单击“链接”(外部打开链接)图标。

外部打开职位链接

验证和诊断管道问题

对于管道,你可以通过选择管道,然后选择对勾(“部署捆绑包并验证管道”)图标来触发验证和部分更新。 将显示运行的事件,并且可以在 Visual Studio Code PROBLEMS 面板中诊断任何故障。

部署捆绑包并验证管道

管道运行事件

组合变量

Databricks IDE 扩展中的 “捆绑变量视图 ”会显示捆绑配置中定义的任何自定义变量和相关设置。 还可以直接使用捆绑包变量视图来定义变量。 这些值替代在捆绑包配置文件中设置的值。 有关自定义变量的信息,请参阅自定义变量

例如,扩展中的Bundle Variables View 视图将显示如下内容:

包变量视图

对于在此捆绑包配置中定义的变量 my_custom_var

variables:
  my_custom_var:
    description: 'Max workers'
    default: '4'

resources:
  jobs:
    my_job:
      name: my_job

      tasks:
        - task_key: notebook_task
          job_cluster_key: job_cluster
          notebook_task:
            notebook_path: ../src/notebook.ipynb

      job_clusters:
        - job_cluster_key: job_cluster
          new_cluster:
            spark_version: 13.3.x-scala2.12
            node_type_id: i3.xlarge
            autoscale:
              min_workers: 1
              max_workers: ${var.my_custom_var}

工作区文件系统

Databricks IDE 扩展窗格中的 Workspace 文件系统视图允许您直接在 Visual Studio Code 或光标中查看并打开 Databricks 工作区文件。 单击笔记本以在 Databricks 中打开它。 还可以使用扩展窗格中的控件从 IDE 创建文件或文件夹,或将文件上传到工作区。

统一目录

Databricks IDE 扩展窗格的 Unity 目录 视图显示你的 Databricks 目录。 使用此扩展视图中的控件打开 Databricks 中的目录、架构或其他数据资产。