专用计算要求和限制

本页概述了专用计算的要求和限制。 大多数专用计算限制依赖于运行时，因为随着时间推移添加了功能支持。

分配给组的专用计算具有其他限制。 请参阅 组访问限制。

精细访问控制支持

专用计算支持精细访问控制，但需要满足某些要求：

• 工作区必须启用无服务器计算。

• Databricks Runtime 15.4 LTS 及更高版本支持读取操作。

• Databricks Runtime 16.3 及更高版本支持写入作业。

• 如果工作区部署了防火墙或具有出站网络限制，则必须打开端口 8443-8451，以便在专用计算上启用精细访问控制。 请参阅 在 Azure 虚拟网络中部署 Azure Databricks (VNet 注入)。

如果专用计算在 Databricks Runtime 15.3 或更低版本上运行：

• 无法访问具有行筛选器或列掩码的表。

• 无法访问动态视图。

• 若要从任何视图中读取，必须在视图引用的所有表和视图上具有 SELECT 权限。

专用计算的流式处理和具体化视图要求

• 若要查询由其他用户使用 Lakeflow 管道创建的表（包括流式表和物化视图），您的工作区必须已启用无服务器计算，并且专用计算必须使用 Databricks Runtime 15.4 或更高版本。 请参阅“使用独立流式表”和“使用独立物化视图”。

• Databricks Runtime 12.2 LTS 及更新版本支持异步检查点。

• Databricks Runtime 15.1 及更高版本支持使用 StreamingQueryListener 与 Unity Catalog 管理的对象进行交互。

• Python foreachBatch 不支持 ThreadPoolExecutor 或多线程执行。 多线程执行可能不会引发错误，但可能会导致数据损坏或结果不一致。

Spark API 限制

• 要读取 Unity 目录卷或外部位置的数据，可以使用 DataFrame API，例如 spark.read。 基于RDD的文件API不支持这些路径，包括 sc.textFile、sc.wholeTextFiles、sc.binaryFiles、sc.hadoopFile、sc.binaryRecords、sc.sequenceFile 和 sc.newAPIHadoopFile。 请参阅限制。

• sc.setCheckpointDir 支持Unity Catalog卷路径，但不支持外部位置。 详见 卷中的DataFrame检查点。

用户定义的函数

• 专用计算资源不支持 Unity Catalog Python UDF。 使用无服务器计算、标准访问模式计算、无服务器或 Pro SQL 仓库，或 Lakeflow 管道来运行 Unity Catalog Python UDF。 请参阅 Unity 目录中的 SQL 和Python用户定义的函数（UDF）。