如何将 PyCharm 与 Azure Databricks 配合使用?

JetBrains 推出的 PyCharm 是一种专用的 Python 集成开发环境 (IDE),可为 Python 开发人员提供各种基本工具,并且紧密集成,能够为高效 Python、Web 和数据科学开发营造便利的环境。 可以在本地开发计算机上使用 PyCharm 在远程 Azure Databricks 工作区中编写、运行和调试 Python 代码。

以下 Databricks 工具支持使用 PyCharm 中的 Azure Databricks 的功能:

名称 描述
PyCharm Databricks 插件 配置与远程 Databricks 工作区的连接,并从 PyCharm 在 Databricks 群集上运行文件。 此插件由 JetBrains 与 Databricks 合作开发和提供。
将 PyCharm 中的 Databricks Connect 与 Python 配合使用 从 PyCharm 在远程 Azure Databricks 工作区上编写、运行和调试本地 Python 代码。
Databricks 资产捆绑包 使用 PyCharm 中的 CI/CD 最佳做法和工作流,以编程方式定义、部署和运行 Azure Databricks 作业、增量实时表管道和 MLOps Stacks。
Databricks CLI 使用 PyCharm 中的内置终端从命令行使用 Azure Databricks。
Databricks SDK for Python 在 PyCharm 中编写、运行和调试使用 Azure Databricks 的 Python 代码。
适用于 Python 的 Databricks SQL 连接器 编写、运行和调试在远程 Azure Databricks 工作区中使用 Databricks SQL 仓库的 Python 代码。
预配基础结构 使用 Terraform 预配 Azure Databricks 基础结构,并使用适用于 PyCharm 的 Terraform 和 HCL 插件遵循基础结构即代码 (IaC) 最佳做法。 通过第三方产品/服务(例如适用于 Terraform 的云开发工具包 (CDKTF) 和 Pulumi),在 PyCharm 中编写和部署 Azure Databricks 基础结构的 Python 定义。