数据格式选项

  • 项目

Azure Databricks 为 Apache Spark 原生支持的所有数据格式提供内置关键字绑定。 Azure Databricks 使用 Delta Lake 作为读取和写入数据和表的默认协议，而 Apache Spark 使用 Parquet。

这些文章概述了在 Azure Databricks 上查询数据时可用的许多选项和配置。

以下数据格式在 Apache Spark 数据帧和 SQL 中有内置的关键字配置：

Azure Databricks 还提供用于加载 MLflow 试验的自定义关键字。

具有特殊注意事项的数据格式

使用某些数据格式需要额外的配置或特殊考虑：

  • Databricks 建议将映像加载为 binary 数据。
  • Apache Spark 原生支持 Hive 表，但需要在 Azure Databricks 上进行配置。
  • Azure Databricks 可以直接读取多种文件格式的压缩文件。 如有必要，也可以在 Azure Databricks 上解压缩压缩文件。
  • LZO 需要安装编解码器。

有关 Apache Spark 数据源的详细信息，请参阅通用加载/保存函数和泛型文件源选项。