以下发行说明提供有关由 Apache Spark 4.0.0 提供支持的 Databricks Runtime 17.1 的信息。
Azure Databricks 于 2025 年 8 月发布了此版本。
小窍门
若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。
新功能和改进
- 扩展的空间 SQL 表达式和 GEOMETRY 和 GEOGRAPHY 数据类型
- 支持架构和目录级别默认排序规则
-
使用
VARIANT更好地处理 JSON 选项 -
display()支持流式处理实时模式 - 速率源支持流式传输实时模式
- 为基于时间的窗口提供支持的事件时间计时器
- 改进了架构列表
- 改进了 Redshift 写入时的字符串列映射
- 对访问控制表的 DDL、SHOW 和 DESCRIBE 的支持
- 减少了 Photon 编写器中宽架构的内存使用量
- 支持 TIMESTAMP WITHOUT TIME ZONE 语法
扩展的空间 SQL 表达式，GEOMETRY 和 GEOGRAPHY 数据类型
现在可以将地理空间数据存储在内置 GEOMETRY 和 GEOGRAPHY 列中，以提高空间查询的性能。 此版本添加了 80 多个新的空间 SQL 表达式，包括用于导入、导出、测量、构造、编辑、验证、转换和确定具有空间联接的拓扑关系的函数。 请参阅 ST 地理空间函数、GEOGRAPHY类型和GEOMETRY类型。
支持架构和目录级别默认排序规则
现在可以在 Databricks Runtime 17.1 中为架构和目录设置默认排序规则。 这样，就可以定义一个排序规则，该排序规则适用于架构或目录中创建的所有对象，确保数据中的排序规则行为一致。
使用 VARIANT 更好地处理 JSON 选项
使用顶级from_json架构时，这些to_json和VARIANT函数现在可以正确应用 JSON 选项。 这可确保与其他受支持的数据类型保持一致的行为。
display() 支持 Streaming Real-Time 模式
可以将函数 display() 与使用实时触发器的流式处理查询配合使用。 在此模式下，display() 自动使用 update 输出模式，并避免添加 LIMIT 子句，因为 update 不支持该子句。 显示刷新间隔也与批处理持续时间分离，以更好地支持实时响应。
速率源支持流式传输实时模式
结构化流式传输中的速率源现在可以与实时触发器配合使用，从而能够使用流式传输实时模式为流式传输管道连续生成数据。
时间窗口支持的事件时间计时器
Azure Databricks 支持基于事件时间的触发器以在流式处理实时模式下执行基于时间的窗口操作。 这样可以更准确地处理实时流式处理查询中的延迟数据和水印处理。
改进了架构列表
Snowflake 连接器使用 INFORMATION_SCHEMA 表而不是 SHOW SCHEMAS 命令列出架构。 此更改消除了上一种方法的 10,000 架构限制，并改进了对具有大量架构的数据库的支持。
改进了 Redshift 写入过程中字符串列的映射
使用 spark.write 将数据表写入 Redshift 时，未指定显式长度的字符串列会映射到 VARCHAR(MAX) 而不是 TEXT。 这可以避免 Redshift 的默认解释 TEXT 行为 VARCHAR(256)，这可能会导致编写较长的字符串时出错。
对访问控制表的 DDL、SHOW 和 DESCRIBE 的支持
SQL 命令（例如DDL，SHOWDESCRIBE现在使用专用群集在精细的访问控制表上运行）。 如果需要强制实施访问控制，Azure Databricks 会通过无服务器计算路由这些命令，就像对读取、合并和追加一样。
减少了 Photon 编写器中宽架构的内存使用量
对 Photon 引擎进行了增强，可显著减少宽架构的内存使用率，解决了以前导致内存不足错误的方案。
支持 TIMESTAMP WITHOUT TIME ZONE 语法
现在可以指定 TIMESTAMP WITHOUT TIME ZONE 而不是 TIMESTAMP_NTZ。 此更改可提高与 SQL 标准版的兼容性。
行为变更
- 已解决子查询关联问题
- 时间戳 NTZ 文本不再向下推送
-
为无效
CHECK约束引发的错误 - Pulsar 连接器不再公开 Bouncy Castle
- 自动加载程序默认使用文件事件（如果可用）
-
从中筛选的内部表属性
SHOW CREATE TABLE - 追加模式联接的更严格规则
- Teradata 连接器修复区分大小写的字符串比较
已解决子查询关联问题
Azure Databricks 不再错误地关联子查询与其外部查询之间的语义上相等的聚合表达式。 以前，这可能会导致查询结果不正确。
时间戳 NTZ 文本不再向下推送
对于 Snowflake 连接器和 Snowflake Lakehouse Federation，TIMESTAMP_NTZ（无时区的时间戳）文本不再向下推送到 Snowflake。 此更改可防止因不兼容的时间戳处理导致的查询失败，并提高受影响查询的可靠性。
针对无效 CHECK 约束抛出的错误
如果在约束验证期间无法解析 AnalysisException 约束表达式，则 Azure Databricks 现在会引发 CHECK。
Pulsar 连接器不再公开 Bouncy Castle
Bouncy Castle 现在在 Pulsar 连接器中被遮蔽，以防止类路径冲突。 因此，Spark 作业无法再从连接器访问 org.bouncycastle.* 类。 如果应用程序代码依赖于 Bouncy Castle，请在群集上手动安装库。
自动加载程序默认使用文件事件（如果可用）
当加载路径是启用了文件事件的外部位置时，自动加载程序使用文件事件而不是目录列表。
useManagedFileEvents默认值为现在if_available（是false）。 这可以提高引入性能，如果尚未启用文件事件，则会记录警告。
从中筛选的内部表属性 SHOW CREATE TABLE
SHOW CREATE TABLE 不再包含无法手动设置或传递给 CREATE TABLE的内部属性。 这样可以减少混淆，并将输出与用户可配置的选项保持一致。
追加模式联接的更严格规则
Azure Databricks 现在禁止在追加模式下使用流式联接的流式处理查询，然后是窗口聚合，除非水印在两侧定义。 没有正确水印的查询可能会生成非最终结果，违反了追加模式保证。
Teradata 连接器修复区分大小写的字符串比较
Teradata 连接器现在默认为 TMODE=ANSI，通过区分大小写来使字符串比较行为与 Azure Databricks 保持一致。 此更改是可配置的，除非他们选择加入，否则不会影响现有用户。
图书馆升级
升级后的 Python 库：
- google-auth 已从 2.40.1 升级到 2.40.0
- mlflow-skinny 从 3.0.0 到 3.0.1
- opentelemetry-api 从 1.33.0 到 1.32.1
- opentelemetry-sdk 从 1.33.0 到 1.32.1
- opentelemetry-semantic-conventions 已从 0.54b0 升级到 0.53b1
- packaging 已从 24.1 升级到 24.2
- pip 从 24.2 到 25.0.1
升级后的 R 库：
cli 从 3.6.4 到 3.6.5
curl 从 6.2.1 到 6.4.0
泛型从 0.1.3 到 0.1.4
从 0.16.3 到 0.18.0 的全局
openssl 从 2.3.2 到 2.3.3
从 1.10.1 到 1.11.0 的支柱
rlang 从 1.1.5 到 1.1.6
sparklyr 从 1.9.0 到 1.9.1
stringi 从 1.8.4 到 1.8.7
从 3.2.1 到 3.3.0
utf8 从 1.2.4 到 1.2.6
升级后的 Java 库：
- software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 2.4.1-linux-x86_64 到 2.5.0-linux-x86_64
Apache Spark
Databricks Runtime 17.1 包括 Apache Spark 4.0.0。 此版本包括版本 17.0 中包含的所有 Spark 修复和改进，以及对 Spark 进行的其他 bug 修复和改进：
- SPARK-52721 修复CANNOT_PARSE_DATATYPE的消息参数
- SPARK-51919 允许重写静态注册的 Python 数据源
- SPARK-52632 还原：漂亮的显示 V2 写入计划节点
- SPARK-52715 美观的 SQL 时间字符串 - DAY-TIME INTERVAL
- SPARK-51268 使 TreeNode 无锁
- SPARK-52701 修复在 MOD 中使用 bool 在 ANSI 下加宽 float32 类型
- SPARK-52563 修复 _assert_pandas_almost_equal 中的变量命名错误
- SPARK-52541 为声明性管道添加编程指南
- SPARK-51695 修复 CHECK CONSTRAINT 语法更改导致的测试失败
- SPARK-52666 将用户定义的类型映射到 SpecificInternalRow 中正确的 MutableValue
- SPARK-52660 将时间类型添加到 CodeGenerator#javaClass
- SPARK-52693 支持 +/- ANSI 日期-时间间隔与时间之间的转换
- SPARK-52705 重构分组表达式的确定性验证
- SPARK-52699 支持在解释模式下聚合时间类型
- SPARK-52503 修复了输入列不存在时的删除问题
- SPARK-52535 提高规则 ApplyColumnarRulesAndInsertTransitions 的代码可读性
- SPARK-52551 添加新的 v2 谓词 BOOLEAN_EXPRESSION
- SPARK-52698 还原：改进数据源模块的类型提示
- SPARK-52684 在遇到执行错误时将 CACHE TABLE 命令设置为原子
- SPARK-52671 RowEncoder 不应查找解析的 UDT
- SPARK-52670 让 HiveResult 与 UserDefinedType#stringifyValue 协同工作
- SPARK-52692 支持缓存 TIME 类型
- SPARK-51516 Thrift 服务器支持时间
- SPARK-52674 清理与 RandomStringUtils 相关的已弃用 API 的使用
- SPARK-51428 确定性地为排序表达式树分配别名
- SPARK-52672 如果聚合中存在表达式，则不要用别名替换 Sort/Having 表达式
- SPARK-52618 将 TIME（n） 转换为 TIME（m）
- SPARK-52656 修复current_time（）
- SPARK-52630 重新组织流式处理运算符和状态管理代码和目录
- SPARK-52649 在 buildAggExprList 中匹配 Sort/Having/Filter 表达式之前剪裁别名
- SPARK-52578 为行添加指标以跟踪 MergeRowsExec 中的案例和操作
- SPARK-49428 将 Scala 客户端从连接器移动到 SQL
- SPARK-52494 支持冒号运算符语法以访问 Variant 字段
- SPARK-52642 使用 daemonWorkers.get(worker) 来避免 idleWorkers 与 daemonWorkers 之间意外的不同步
- SPARK-52570 为启用了 ANSI 的数值 rmod 启用除以零
- SPARK-52633 重复数据删除单个 Union 子输出之前 DeduplicateRelations
- SPARK-52600 将 CompletionIterator 移动到 common/utils
- SPARK-52626 允许按时间类型进行分组
- SPARK-52395 Prism 提取请求失败时使减速器任务立即失败
- SPARK-52596 尝试将日期和时间转换为TIMESTAMP_NTZ
- SPARK-52595 将 TimeAdd 表达式重命名为 TimestampAddInterval
- SPARK-52586 引入 AnyTimeType
- SPARK-52583 在 UserDefinedType 中添加用于字符串值的开发人员 API
- SPARK-52354 向 UnionLoop 添加类型强制转换
- SPARK-52579 为 Python 工作器设置定期回溯转储
- SPARK-52456 降低 spark.eventLog.rolling.maxFileSize 的最低限制
- SPARK-52536 将 AsyncProfilerLoader extractDir 设置为 spark local dir
- SPARK-52405 扩展 V2JDBCTest 以测试多个分区读取
- SPARK-52303 将 ExternalCommandRunner 提升为 Stable
- SPARK-52572 在 ANSI 模式下避免 DataFrame.isin 的 CAST_INVALID_INPUT
- SPARK-52349 启用 ANSI 布尔除法测试
- SPARK-52402 在 ANSI 模式下修复肯德尔和皮尔逊相关性中的除零错误
- SPARK-52356 在启用 ANSI 的情况下对布尔 mod/rmod 启用除以零
- SPARK-52288 当 ANSI 模式处于打开状态时，避免在拆分/rsplit 中INVALID_ARRAY_INDEX
- SPARK-52557 在 ANSI 模式下避免 to_numeric(errors='coerce') 的 CAST_INVALID_INPUT
- SPARK-52440 为声明性管道添加额外的 Python 安装
- SPARK-52569 修复 SecondsOfTimeWithFraction 中的类强制转换异常
- SPARK-52540 用日期和时间创建TIMESTAMP_NTZ
- SPARK-52539 引入会话钩子
- SPARK-52554 避免在 Spark Connect 中进行配置检查时出现多次往返通信
- SPARK-52553 修复读取 v1 changelog 时的 NumberFormatException
- SPARK-52534 使 MLCache 和 MLHandler 线程安全
- SPARK-52460 将内部 TIME 值存储为 nanoseconds
- SPARK-52482 对文件数据源读取器的 ZStandard 支持
- SPARK-52531 子查询聚合中的 OuterReference 错误地绑定到外部查询聚合
- SPARK-52339 修复 InMemoryFileIndex 实例的比较
- SPARK-52418 向 PercentileHeap 添加 noElements 状态变量以避免 isEmpty（） 的重复计算
- SPARK-52537 在创建临时目录失败时打印堆栈跟踪
- SPARK-52462 在联合中删除子输出重复数据之前强制执行类型转换
- SPARK-52528 在启用 ANSI 的情况下启用数值模除以零的操作
- SPARK-52458 支持 spark.eventLog.excludedPatterns
- SPARK-52493 支持无时区的时间戳
- SPARK-51563 支持完全限定的字段类型名称无时区时间戳
- SPARK-52450 提高架构深层复制的性能
- SPARK-52519 为启用了 ANSI 的数值 floordiv 启用除以零
- SPARK-52489 在 SQL 脚本中禁止重复的 SQLEXCEPTION 和 NOT FOUND 处理程序
- SPARK-52488 在 HAVING 下包装外部引用之前带状别名
- SPARK-52383 改进 SparkConnectPlanner 中的错误
- SPARK-52335 统一 Connect 和 Classic 的无效存储桶计数错误
- SPARK-52337 将 InvalidPlanInput 转化为用户可见错误
- SPARK-52312 缓存数据帧时忽略 V2WriteCommand
- SPARK-52487 将阶段提交的时间和持续时间添加到 StagePage 的详细信息中
- SPARK-52433 在 createDataFrame 中统一字符串强制
- SPARK-52427 规范化由 Project 覆盖的聚合表达式列表
- SPARK-51745 为 RocksDBStateStore 强制执行状态机
- SPARK-52447 将 GetViewColumnByNameAndOrdinal 的规范化移至 SessionCatalogSuite
- SPARK-52397 幂等 ExecutePlan：具有相同 operationId 和计划重新附加的第二个 ExecutePlan
- SPARK-52355 创建 DataFrame 时将 VariantVal 对象类型推断为 VariantType
- SPARK-52425 重构 ExtractValue 以便在单传递实现中重复使用
- SPARK-52249 为启用了 ANSI 的数值 truediv 启用除以零
- SPARK-52228 把状态交互微基准测试集成到 Quicksilver (TCP)
- SPARK-48356 改进 FOR 语句的列架构推理
- SPARK-48353 异常处理改进
- SPARK-52060 使 OneRowRelationExec 节点
- SPARK-52391 将 TransformWithStateExec 函数/vars 重构为 Scala 和 Python 的基类
- SPARK-52218 使当前日期时间函数再次可评估
- SPARK-52350 修复 4.0 中 SS 编程指南的链接
- SPARK-52385 从 InheritAnalysisRules 名称中删除 TempResolvedColumns
- SPARK-52392 新的单次扫描分析器功能
- SPARK-52243 为与架构相关的 InvalidPlanInput 错误添加 NERF 支持
- SPARK-52338 从架构继承默认排序规则到视图
- SPARK-52307 支持标量箭头迭代器 UDF
- SPARK-52300 使 SQL UDTVF 分辨率使用具有视图分辨率的一致配置
- SPARK-52219 表的架构级别排序规则支持
- SPARK-52272 V2SessionCatalog 不会更改 Hive 目录中的架构
-
SPARK-51890 将参数添加到
options逻辑计划视图 - SPARK-51936 ReplaceTableAsSelect 应覆盖新表而不是追加
- SPARK-51302 Spark Connect 支持 JDBC 应使用 DataFrameReader API
- SPARK-50137 避免在创建表时回退到 Hive 不兼容的方法失败
- SPARK-52184 用统一异常封装外部引擎 JDBC 语法错误
- SPARK-52305 优化 isnotnull、equal_null、nullif、nullifzero、nvl、nvl2、zeroifnull 的文档字符串
- SPARK-52174 默认启用 spark.checkpoint.compress
- SPARK-52224 将 pyyaml 作为 Python 客户端的依赖项引入
- SPARK-52233 修复浮点类型的 map_zip_with
- SPARK-52036 将 SQLConfHelper 特征添加到 v2。FileScan
- SPARK-52159 删除 MariaDB 方言过于宽泛的条件
- SPARK-50104 在 Connect 中支持 SparkSession.executeCommand
- SPARK-52240 在矢量化读取器中展开打包数组时修正了行索引的用法
- SPARK-52153 使用变体修复from_json和to_json
- SPARK-48618 改进不存在测试，无法检查 3part 和 2part 名称
- SPARK-52216 使 InvalidCommandInput 成为面向用户的错误
- SPARK-52299 替换已弃用的 JsonNode.fields
- SPARK-52287 如果不存在，请改进 SparkContext 以填充 o.a.s.internal.io.cloud.* 设置
- SPARK-51430 停止 PySpark 上下文记录器将日志传播到 stdout
- SPARK-52278 标量箭头 UDF 支持命名参数
- SPARK-52026 默认情况下，在 ANSI 模式下阻止 Spark 上的 pandas API
- SPARK-52171 state v3 的 StateDataSource 联接实现
- SPARK-52159 正确处理 jdbc 方言的表存在检查
- SPARK-52158 添加 InvalidInputErrors 对象以集中 SparkConnectPlanner 中的错误
- SPARK-52195 修复 Python TWS 的初始状态列删除问题
- SPARK-52211 从 SparkConnectServer INFO 日志剥离 $ 后缀
- SPARK-52239 支持注册箭头 UDF
- SPARK-52215 实现标量箭头 UDF
- SPARK-52188 修复了 StateDataSource 中 StreamExecution.RUN_ID_KEY 未设置的问题
- SPARK-52189 使用 GROUP BY、HAVING、ORDER BY 和 LCA 进行 NATURAL JOIN 的新黄金文件测试
- SPARK-52079 规范化内部项目列表中的属性顺序
- SPARK-52234 修复了schema_of_csv/xml 的非字符串输入错误
- SPARK-52221 将 SqlScriptingLocalVariableManager 重构为更通用的上下文管理器
- SPARK-52181 将变体大小限制增加到 128MiB
- SPARK-52217 在单遍解析器中跳过筛选器下的外部引用验证
- SPARK-51260 将 V2ExpressionBuilder 和 PushableExpression 移到 Catalyst 模块
- SPARK-52156 放置旧版 CREATE TEMPORARY TABLE...在标志下使用提供程序
- SPARK-51012 从连接填充码中删除 SparkStrategy
- SPARK-52109 将 listTableSummaries API 添加到数据源 V2 表目录 API
- SPARK-50915 在 PySparkException 中添加 getCondition 和 deprecate getErrorClass
- SPARK-52022 为 SparkThrowable.getQueryContext 添加签入默认方法
- SPARK-51147 将流式处理相关类重构到专用流式处理目录
- SPARK-52120 将会话传递给 ConnectHelper
- SPARK-52021 单独的运算符和表达式模式
- SPARK-51722 从 ParseException 中删除“stop”源
- SPARK-52096 重新分类 Kafka 源偏移断言错误
- SPARK-51985 从 AccumulatorSource 中删除实验性
- SPARK-51156 Spark Connect 中的静态令牌身份验证支持
- SPARK-52157 在单遍解析器中对 OuterReference 使用先前计算的名称
- SPARK-52100 启用在语法中覆盖递归层次限制
- SPARK-51605 在触摸 logFile 之前创建父目录
- SPARK-52127 挤压 PySpark 中 transformWithState 的 MapState KEYS /VALUES / ITERATOR 协议
- SPARK-52040 ResolveLateralColumnAliasReference 应保留计划 ID
- SPARK-51638 修复通过外部随机服务提取存储的 RDD 块的远程磁盘
- SPARK-51983 为启用了 ANSI 模式的 Spark 上的 pandas API 准备测试环境
- SPARK-52087 将标记和源的复制添加到 AliasHelper.trimNonTopLevelAliases
- SPARK-51210 将 --enable-native-access=ALL-UNNAMED 添加到 Java 24+ 的 Java 选项
- SPARK-52052 在 SerializableConfiguration 的配套对象中添加 .broadcast
- SPARK-51823 添加配置以在执行程序上不保留状态存储
- SPARK-51291 重新分类从状态存储加载引发的验证错误
- SPARK-52006 从 Spark UI + 事件日志 + 指标检测信号中排除 CollectMetricsExec 累加器
- SPARK-52076 使用后显式地关闭 ExecutePlanResponseReattachableIterator
- SPARK-51428 确定性地为排序表达式树分配别名
- SPARK-52079 规范化内部项目列表中的属性顺序
- SPARK-52033 修复了生成节点 bug，其中子节点的输出可以具有同一属性的多个副本
- SPARK-51428 确定性地为排序表达式树分配别名
- SPARK-52055 抑制 ExecutePlanResponseReattachableIterator 中的异常。删除
- SPARK-51921 在 transformWithState 中使用 TTL 持续时间的长类型（以毫秒为单位）
- SPARK-50763 添加分析器规则以解析 SQL 表函数
- SPARK-51884 为 SubqueryExpression 添加外部范围属性
- SPARK-50762 添加分析器规则以解析 SQL 标量 UDF
- SPARK-51814 对旧版本兼容性使用 list（self）而不是 StructType.fields
- SPARK-51537 基于执行程序上的默认会话类加载程序构造特定于会话的类加载程序
- SPARK-50777 从筛选器类中删除冗余 no-op init/destroy 方法
- SPARK-51691 SerializationDebugger 在尝试查找序列化问题的原因时应该接受异常
- SPARK-51386 将名称分配给错误条件 _LEGACY_ERROR_TEMP_3300-3302
- SPARK-50734 添加用于创建和注册 SQL UDF 的目录 API
- SPARK-51989 向数据源 中的所有 列表添加缺少的 Filter 子类
- SPARK-52037 LCA 内部项目列表中的顺序应遵循原始项目列表中的顺序
- SPARK-52007 使用分组集时，表达式 ID 不应存在于分组表达式中
- SPARK-51860 默认情况下禁用 spark.connect.grpc.debug.enabled
- SPARK-47952 支持在 Yarn 上运行时以编程方式检索实际的 SparkConnectService GRPC 地址和端口
- SPARK-50906 添加可为 Null 性检查以检查 to_avro 的输入是否与架构一致
- SPARK-50581 修复了对 Dataset.observe（） 中的 UDAF 的支持
- SPARK-49946 SparkOutOfMemoryError 中需要错误类
- SPARK-49748 在 SparkThrowable 中添加 getCondition 和 deprecate getErrorClass
- SPARK-51959 使函数不导入 ParentDataFrame
- SPARK-51964 在单传递分析器中的聚合顶部正确解析 ORDER BY 和 HAVING 中隐藏输出的属性
- SPARK-49942 将 errorClass 重命名为 classificationException 中的条件（）
- SPARK-51963 简化 IndexToString.transform
- SPARK-51946 使用分区名称“col”创建与配置单元不兼容的数据源表时立即失败
- SPARK-51553 修改 EXTRACT 以支持 TIME 数据类型
- SPARK-51891 挤压 PySpark 中 transformWithState 的 ListState GET/PUT/APPENDLIST 协议
- SPARK-51931 添加 maxBytesPerOutputBatch 以限制箭头输出批处理的字节数
- SPARK-51441 为约束添加 DSv2 API
- SPARK-51814 为实现旧版 pyarrow 兼容性，请使用 RecordBatch.schema.names 而非 column_names
- SPARK-51913 JDBCTableCatalog#loadTable 不应正确引发此类表错误
- SPARK-51840 恢复 HiveExternalCatalog#alterTable 中的分区列
- SPARK-51414 添加 make_time（） 函数
- SPARK-49700 用于连接和经典版的统一 Scala 接口
- SPARK-51914 将 com.mysql.cj 添加到 spark.sql.hive.metastore.sharedPrefixes
- SPARK-51827 在 PySpark 中支持 Spark Connect 用于 transformWithState
- SPARK-51901 禁止在组集中使用生成函数
- SPARK-51423 为 TIME 数据类型添加 current_time（） 函数
- SPARK-51680 在 parquet 编写器中设置时间的逻辑类型
- SPARK-51889 修复 Python TWS 中 MapState clear（） 的 bug
- SPARK-51869 为 Scala TransformWithState 的 UDF 中的用户错误创建分类
- SPARK-51878 通过执行可折叠的默认表达式改进 fillDefaultValue。
- SPARK-51757 修复 LEAD/LAG 函数偏移量超出窗口组上限
- SPARK-51805 获取具有不当参数的函数应引发正确的异常，而不是内部异常
- SPARK-51900 在单遍分析器中正确引发数据类型不匹配
- SPARK-51421 获取 TIME 数据类型的秒数
- SPARK-51661 时间列值分区检测
- SPARK-51687 将具有时间值的筛选器下推到 parquet
- SPARK-51419 获取时间数据类型的小时数
- SPARK-51881 使 AvroOptions 具有可比性
- SPARK-51861 删除 InMemoryRelation 计划详细信息中的重复或不必要的信息
- SPARK-51814 在 PySpark 中引入新的 API transformWithState
- SPARK-51779 使用虚拟列族进行流-流联接
- SPARK-51649 TIME 分区的动态写入/读取
- SPARK-51634 支持非堆列向量中的 TIME
- SPARK-51877 添加函数“chr”、“random”和“uuid”
- SPARK-51610 支持 parquet 数据源中的时间数据类型
- SPARK-51420 获取时间数据类型的分钟数
- SPARK-51822 在 StatefulProcessor.init（） 期间调用不允许的函数时引发分类错误
- SPARK-51868 将类型强制验证移动到单独的对象
- SPARK-49747 将连接/文件迁移到结构化日志记录
Azure Databricks ODBC/JDBC 驱动程序支持
Azure Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。
系统环境
- 操作系统：Ubuntu 24.04.2 LTS
- Java：Zulu17.58+21-CA
- Scala：2.13.16
- Python：3.12.3
- R：4.4.2
- Delta Lake：4.0.0
已安装的 Python 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| annotated-types | 0.7.0 | anyio | 4.6.2 | argon2-cffi | 21.3.0 |
| argon2-cffi-bindings | 21.2.0 | 箭头 | 1.3.0 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | attrs | 24.3.0 |
| 自动命令 | 2.2.2 | azure-common | 1.1.28 | azure-core | 1.34.0 |
| Azure 身份识别 | 1.20.0 | azure-mgmt-core | 1.5.0 | azure-mgmt-web | 8.0.0 |
| azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 | 巴别塔 | 2.16.0 |
| backports.tarfile | 1.2.0 | beautifulsoup4 | 4.12.3 | 黑色 | 24.10.0 |
| 漂白剂 | 6.2.0 | 闪烁器 | 1.7.0 | boto3 | 1.36.2 |
| botocore | 1.36.3 | cachetools (缓存工具) | 5.5.1 | certifi | 2025年1月31日 |
| cffi | 1.17.1 | chardet | 4.0.0 | charset-normalizer (字符集正常化工具) | 3.3.2 |
| click | 8.1.7 | cloudpickle | 3.0.0 | comm | 0.2.1 |
| contourpy | 1.3.1 | 加密 | 43.0.3 | 骑行者 | 0.11.0 |
| Cython | 3.0.12 | Databricks软件开发工具包 (databricks-sdk) | 0.49.0 | dbus-python | 1.3.2 |
| debugpy | 1.8.11 | 修饰器 | 5.1.1 | defusedxml | 0.7.1 |
| 已弃用 | 1.2.13 | distlib | 0.3.9 | docstring-to-markdown | 0.11 |
| 正在执行 | 0.8.3 | 各个方面概述 | 1.1.1 | fastapi | 0.115.12 |
| fastjsonschema | 2.21.1 | 文件锁 (filelock) | 3.18.0 | fonttools（字体工具） | 4.55.3 |
| fqdn | 1.5.1 | fsspec | 2023.5.0 | gitdb (Git数据库) | 4.0.11 |
| GitPython | 3.1.43 | google-api-core (谷歌 API 核心库) | 2.20.0 | google-auth (谷歌身份验证) | 2.40.0 |
| google-cloud-core (Google云核心) | 2.4.3 | 谷歌云存储 (Google Cloud Storage) | 3.1.0 | google-crc32c | 1.7.1 |
| google-resumable-media (谷歌可恢复媒体) | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.14.0 | httpcore | 1.0.2 |
| httplib2 | 0.20.4 | httpx | 0.27.0 | idna | 3.7 |
| importlib-metadata | 6.6.0 | importlib_resources | 6.4.0 | inflect | 7.3.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.209 | ipykernel | 6.29.5 |
| ipython | 8.30.0 | ipython-genutils（IPython通用工具） | 0.2.0 | ipywidgets | 7.8.1 |
| isodate | 0.6.1 | isoduration | 20.11.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.2 |
| Jinja2 | 3.1.5 | jmespath | 1.0.1 | joblib | 1.4.2 |
| json5 | 0.9.25 | jsonpointer | 3.0.0 | jsonschema | 4.23.0 |
| JSON模式规范 | 2023年7月1日 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client（Jupyter 客户端） | 8.6.3 | jupyter_core（Jupyter核心） | 5.7.2 | Jupyter服务器 | 2.14.1 |
| Jupyter服务器终端 | 0.4.4 | jupyterlab | 4.3.4 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | jupyterlab_server (JupyterLab 服务器) | 2.27.3 | kiwisolver | 1.4.8 |
| launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | 麦卡贝 | 0.7.0 | mdurl | 0.1.0 |
| mistune | 2.0.4 | mlflow-skinny | 3.0.1 | mmh3 | 5.1.0 |
| more-itertools | 10.3.0 | MSAL | 1.32.3 | msal-extensions | 1.3.1 |
| mypy-extensions | 1.0.0 | nbclient | 0.8.0 | nbconvert | 7.16.4 |
| nbformat | 5.10.4 | nest-asyncio | 1.6.0 | nodeenv | 1.9.1 |
| 笔记本 | 7.3.2 | notebook_shim | 0.2.3 | numpy | 2.1.3 |
| oauthlib | 3.2.2 | OpenTelemetry API | 1.32.1 | opentelemetry-sdk（开源遥测软件开发工具包） | 1.32.1 |
| opentelemetry-semantic-conventions | 0.53b1 | overrides | 7.4.0 | 包装 | 24.2 |
| 熊猫 | 2.2.3 | pandocfilters | 1.5.0 | 帕尔索 | 0.8.4 |
| pathspec | 0.10.3 | 替罪羊 | 1.0.1 | pexpect | 4.8.0 |
| 枕头 | 11.1.0 | pip | 25.0.1 | platformdirs | 3.10.0 |
| plotly | 5.24.1 | Pluggy (Python库) | 1.5.0 | prometheus_client | 0.21.0 |
| 提示工具包 (prompt-toolkit) | 3.0.43 | proto-plus | 1.26.1 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 19.0.1 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 | Python代码解析器 | 2.21 |
| pydantic (Python 数据验证库) | 2.10.6 | pydantic_core | 2.27.2 | pyflakes | 3.2.0 |
| Pygments | 2.15.1 | PyGObject | 3.48.2 | pyiceberg | 0.9.0 |
| PyJWT | 2.10.1 | pyodbc | 5.2.0 | pyparsing | 3.2.0 |
| pyright | 1.1.394 | pytest（Python 测试框架） | 8.3.5 | python-dateutil | 2.9.0.post0 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.0 |
| pytoolconfig | 1.2.6 | pytz | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | referencing | 0.30.2 | requests | 2.32.3 |
| rfc3339-validator | 0.1.4 | rfc3986验证器 | 0.1.1 | rich | 13.9.4 |
| 绳子 | 1.12.0 | rpds-py | 0.22.3 | rsa | 4.9.1 |
| s3transfer | 0.11.3 | scikit-learn | 1.6.1 | scipy | 1.15.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | setuptools | 74.0.0 |
| 6 | 1.16.0 | smmap | 5.0.0 | sniffio | 1.3.0 |
| 排序容器 | 2.4.0 | soupsieve | 2.5 | sqlparse | 0.5.3 |
| ssh-import-id | 5.11 | 堆栈数据 | 0.2.0 | starlette | 0.46.2 |
| statsmodels | 0.14.4 | strictyaml | 1.7.3 | 毅力 | 9.0.0 |
| terminado | 0.17.1 | threadpoolctl | 3.5.0 | tinycss2 | 1.4.0 |
| tokenize_rt | 6.1.0 | tomli | 2.0.1 | 龙卷风 | 6.4.2 |
| traitlets | 5.14.3 | typeguard | 4.3.0 | types-python-dateutil | 2.9.0.20241206 |
| 输入扩展 (typing_extensions) | 4.12.2 | tzdata | 2024.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | URI 模板 | 1.3.0 | urllib3 | 2.3.0 |
| uvicorn | 0.34.2 | virtualenv | 20.29.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webcolors | 24.11.1 | Web编码 | 0.5.1 |
| WebSocket客户端 | 1.8.0 | whatthepatch | 1.0.2 | wheel | 0.45.1 |
| widgetsnbextension | 3.6.6 | 裹住 | 1.17.0 | yapf | 0.40.2 |
| 齐普 | 3.21.0 |
已安装的 R 库
R 库从 2025-03-20 的 Posit 包管理器 CRAN 快照中安装。
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 19.0.1 | askpass | 1.2.1 | 断言 | 0.2.1 |
| backports | 1.5.0 | 基础映像 | 4.4.2 | base64enc | 0.1-3 |
| bigD | 0.3.0 | bit | 4.6.0 | bit64 | 4.6.0-1 |
| bitops | 1.0-9 | blob | 1.2.4 | 靴子 | 1.3-30 |
| brew | 1.0-10 | 活力 | 1.1.5 | 扫帚 | 1.0.7 |
| bslib | 0.9.0 | 卡齐姆 | 1.1.0 | callr | 3.7.6 |
| caret | 7.0-1 | cellranger (细胞测序工具) | 1.1.0 | If "chron" is a standalone term with no additional context indicating its specific function or meaning, we may keep it as "Chron" unless context dictates a different interpretation. | 2.3-62 |
| 类 | 7.3-22 | 命令行界面 (CLI) | 3.6.5 | 剪辑器 | 0.8.0 |
| clock | 0.7.2 | 群集 | 2.1.6 | codetools | 0.2-20 |
| 色彩空间 | 2.1-1 | 通用标记 (commonmark) | 1.9.5 | 编译器 | 4.4.2 |
| 配置 | 0.3.2 | 感到矛盾 | 1.2.0 | cpp11 | 0.5.2 |
| crayon | 1.5.3 | 凭据 | 2.0.2 | curl | 6.4.0 |
| 数据表 (data.table) | 1.17.0 | 数据集 | 4.4.2 | DBI | 1.2.3 |
| dbplyr | 2.5.0 | desc | 1.4.3 | devtools | 2.4.5 |
| 示意图 | 1.6.5 | diffobj | 0.3.5 | 摘要 | 0.6.37 |
| downlit | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-16 | 省略号 | 0.3.2 | evaluate | 1.0.3 |
| fansi | 1.0.6 | farver | 2.1.2 | 快速映射 | 1.2.0 |
| fontawesome | 0.5.3 | forcats | 1.0.0 | foreach | 1.5.2 |
| 国外 | 0.8-86 | 锻造 | 0.2.0 | fs | 1.6.5 |
| 未来 | 1.34.0 | future.apply | 1.11.3 | gargle | 1.5.2 |
| 泛型 | 0.1.4 | 格尔特 | 2.1.4 | ggplot2 | 3.5.1 |
| gh | 1.4.1 | git2r | 0.35.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.18.0 | 胶水 | 1.8.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.2 |
| graphics | 4.4.2 | grDevices | 4.4.2 | 网格 | 4.4.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.11.1 |
| gtable | 0.3.6 | hardhat | 1.4.1 | haven | 2.5.4 |
| highr | 0.11 | 赫姆斯 | 1.1.3 | HTML工具 | 0.5.8.1 |
| HTML小插件 | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
| httr2 | 1.1.1 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-15 | isoband | 0.2.7 | 迭代器 | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.9.1 | JuicyJuice | 0.1.0 |
| KernSmooth | 2.23-22 | knitr | 1.50 | 标记 | 0.4.3 |
| 稍后 | 1.4.1 | 晶格 | 0.22-5 | 熔岩 | 1.8.1 |
| 生命周期 | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.4 |
| magrittr | 2.0.3 | markdown | 1.13 | MASS | 7.3-60.0.1 |
| 矩阵 | 1.6-5 | 记忆化 | 2.0.1 | 方法 | 4.4.2 |
| mgcv | 1.9-1 | 默剧 | 0.13 | 迷你用户界面 | 0.1.1.1 |
| mlflow | 2.20.4 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| 蒙塞尔 | 0.5.1 | nlme | 3.1-164 | nnet | 7.3-19 |
| numDeriv | 2016年8月至1月1日 | openssl（开放SSL） | 2.3.3 | 平行 | 4.4.2 |
| parallelly | 1.42.0 | 柱子 | 1.11.0 | pkgbuild (软件包构建工具) | 1.4.6 |
| pkgconfig | 2.0.3 | pkgdown | 2.1.1 | pkgload | 1.4.0 |
| 普洛格 | 0.2.0 | 普莱尔 | 1.8.9 | 赞美 | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.6 |
| prodlim | 2024.06.25 | profvis | 0.4.0 | 进展 | 1.2.3 |
| progressr | 0.15.1 | promises | 1.3.2 | 原型 (proto) | 1.0.0 |
| 代理 | 0.4-27 | 附注 (ps) | 1.9.0 | purrr | 1.0.4 |
| R6 | 2.6.1 | ragg | 1.3.3 | 随机森林 (randomForest) | 4.7-1.2 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.14 | RcppEigen | 0.3.4.0.2 | reactable | 0.4.4 |
| reactR | 0.6.1 | readr（阅读器） | 2.1.5 | readxl | 1.4.5 |
| 食谱 | 1.2.0 | 重赛 | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.5.0 | 可复制的示例 | 2.1.1 | reshape2 | 1.4.4 |
| rlang | 1.1.6 | rmarkdown（R语言动态文档生成工具） | 2.29 | RODBC | 1.3-26 |
| roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
| Rserve | 1.8-15 | RSQLite | 2.3.9 | rstudioapi | 0.17.1 |
| rversions | 2.1.2 | rvest | 1.0.4 | Sass | 0.4.9 |
| 磅秤 | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.3 |
| 形状 | 1.4.6.1 | 光亮 | 1.10.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.9.1 | SparkR | 4.0.0 | sparsevctrs | 0.3.1 |
| 空间 | 7.3-17 | splines | 4.4.2 | sqldf（R环境中的数据库操作软件包） | 0.4-11 |
| SQUAREM | 2021年1月 | 统计数据 | 4.4.2 | 统计数据4 | 4.4.2 |
| stringi | 1.8.7 | stringr | 1.5.1 | 生存 | 3.5-8 |
| 自信 | 5.17.14.1 | sys | 3.4.3 | systemfonts | 1.2.1 |
| Tcl/Tk 编程语言 | 4.4.2 | testthat | 3.2.3 | 文字排版 | 1.0.0 |
| tibble | 3.3.0 | tidyr | 1.3.1 | tidyselect | 1.2.1 |
| tidyverse（数据分析工具包） | 2.0.0 | 时间变化 | 0.3.0 | 时间日期 | 4041.110 |
| tinytex | 0.56 | tools | 4.4.2 | tzdb | 0.5.0 |
| URL检查器 | 1.0.1 | usethis | 3.1.0 | utf8 | 1.2.6 |
| utils | 4.4.2 | UUID（通用唯一识别码） | 1.2-1 | V8 | 6.0.2 |
| vctrs | 0.6.5 | viridisLite | 0.4.2 | vroom | 1.6.5 |
| 瓦尔多 | 0.6.1 | whisker | 0.4.1 | withr | 3.0.2 |
| xfun | 0.51 | xml2 | 1.3.8 | xopen | 1.0.1 |
| xtable | 1.8-4 | yaml | 2.3.10 | zeallot | 0.1.0 |
| 压缩包 | 2.3.2 |
已安装的 Java 和 Scala 库（Scala 2.13 群集版本）
| 群组标识符 | 工件编号 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
| com.amazonaws | AWS Java SDK CloudFront | 1.12.638 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.12.638 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.12.638 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.12.638 |
| com.amazonaws | aws-java-sdk-datapipeline（AWS Java SDK 数据流水线） | 1.12.638 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.12.638 |
| com.amazonaws | aws-java-sdk-directory | 1.12.638 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
| com.amazonaws | aws-java-sdk-efs | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.12.638 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.12.638 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.12.638 |
| com.amazonaws | aws-java-sdk-emr | 1.12.638 |
| com.amazonaws | AWS Java SDK Glacier | 1.12.638 |
| com.amazonaws | AWS Java SDK Glue | 1.12.638 |
| com.amazonaws | aws-java-sdk-iam | 1.12.638 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.12.638 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.12.638 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.12.638 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.12.638 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
| com.amazonaws | aws-java-sdk-rds | 1.12.638 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
| com.amazonaws | aws-java-sdk-ses | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
| com.amazonaws | aws-java-sdk-sns | 1.12.638 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.12.638 |
| com.amazonaws | aws-java-sdk-sts | 1.12.638 |
| com.amazonaws | AWS Java SDK支持 | 1.12.638 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
| com.amazonaws | jmespath-java | 1.12.638 |
| com.clearspring.analytics | 数据流 | 2.9.8 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | kryo-shaded | 4.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.5.1 |
| com.fasterxml.jackson.core | Jackson注解 | 2.18.2 |
| com.fasterxml.jackson.core | jackson-core | 2.18.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.18.2 |
| com.fasterxml.jackson.dataformat | Jackson 数据格式 YAML | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-原住民 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1-原住民 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-原住民 |
| com.github.fommil.netlib | netlib-本地系统-linux-x86_64 | 1.1-原住民 |
| com.github.luben | zstd-jni | 1.5.6-10 |
| com.github.virtuald | curvesapi | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | proto-google-common-protos | 2.5.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.11.0 |
| com.google.crypto.tink | 丁克 | 1.16.0 |
| com.google.errorprone | 易出错的注释 | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 24.3.25 |
| com.google.guava | 访问失败 | 1.0.2 |
| com.google.guava | guava | 33.4.0-jre |
| com.google.guava | 可以聆听的未来 | 9999.0-为了避免与 Guava 冲突而为空 |
| com.google.j2objc | j2objc-annotations | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util | 3.25.5 |
| com.helger | 探查器 | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | fansi_2.13 | 0.5.0 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.10 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜头_2.13 | 0.4.13 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | 冷静_2.13 | 0.10.0 |
| com.twitter | util-app_2.13 | 19.8.1 |
| com.twitter | util-core_2.13 | 19.8.1 |
| com.twitter | util-function_2.13 | 19.8.1 |
| com.twitter | util-jvm_2.13 | 19.8.1 |
| com.twitter | util-lint_2.13 | 19.8.1 |
| com.twitter | util-registry_2.13 | 19.8.1 |
| com.twitter | util-stats_2.13 | 19.8.1 |
| com.typesafe | 配置 | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | 稀疏比特集合 | 1.3 |
| commons-cli | commons-cli | 1.9.0 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.17.2 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.18.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack（线性代数软件包） | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.3 |
| io.dropwizard.metrics | 指标注释 | 4.2.30 |
| io.dropwizard.metrics | metrics-core | 4.2.30 |
| io.dropwizard.metrics | metrics-graphite | 4.2.30 |
| io.dropwizard.metrics | 指标-健康检查 | 4.2.30 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.30 |
| io.dropwizard.metrics | metrics-jmx | 4.2.30 |
| io.dropwizard.metrics | metrics-json | 4.2.30 |
| io.dropwizard.metrics | metrics-jvm | 4.2.30 |
| io.dropwizard.metrics | 指标-Servlets | 4.2.30 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.netty | netty-all | 4.1.118.Final |
| io.netty | netty-buffer（Netty缓存） | 4.1.118.Final |
| io.netty | netty-codec | 4.1.118.Final |
| io.netty | Netty HTTP 编解码器 | 4.1.118.Final |
| io.netty | netty-codec-http2 | 4.1.118.Final |
| io.netty | netty-codec-socks | 4.1.118.Final |
| io.netty | Netty-Common（网络通用组件） | 4.1.118.Final |
| io.netty | netty-handler | 4.1.118.Final |
| io.netty | netty-handler-proxy（Netty 处理器代理） | 4.1.118.Final |
| io.netty | netty-resolver (Netty 解析器) | 4.1.118.Final |
| io.netty | netty-tcnative-boringssl-static（Netty高性能计算库） | 2.0.70.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static（Netty高性能计算库） | 2.0.70.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static（Netty高性能计算库） | 2.0.70.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static（Netty高性能计算库） | 2.0.70.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static（Netty高性能计算库） | 2.0.70.Final-db-r0-windows-x86_64 |
| io.netty | Netty TcNative 类 | 2.0.70.Final |
| io.netty | netty-transport | 4.1.118.Final |
| io.netty | netty-transport-classes-epoll | 4.1.118.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.118.Final |
| io.netty | netty-transport-native-epoll | 4.1.118.Final |
| io.netty | netty-transport-native-epoll | 4.1.118.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.118.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.1.118.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.118.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.118.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.118.Final |
| io.prometheus | simpleclient | 0.16.1-databricks |
| io.prometheus | 简单客户端通用 | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard | 0.16.1-databricks |
| io.prometheus | simpleclient_pushgateway (简单客户端推送网关) | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_服务_通用 | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel | 0.16.1-databricks |
| io.prometheus | simpleclient跟踪器_otel代理 | 0.16.1-databricks |
| io.prometheus.jmx | 收集器 | 0.18.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.annotation | javax.annotation-api (Java中的注解API) | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.media | jai_core | jai_core_dummy |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.13.0 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.5 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc（远程调用协议库） | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.13.1 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.10.11 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | 箭头格式 | 18.2.0 |
| org.apache.arrow | arrow-memory-core | 18.2.0 |
| org.apache.arrow | 箭头内存网状系统 | 18.2.0 |
| org.apache.arrow | 箭头内存-Netty-缓冲区-补丁 | 18.2.0 |
| org.apache.arrow | 箭头向量 | 18.2.0 |
| org.apache.avro | avro | 1.12.0 |
| org.apache.avro | avro-ipc | 1.12.0 |
| org.apache.avro | avro-mapred | 1.12.0 |
| org.apache.commons | commons-collections4（通用集合库） | 4.4 |
| org.apache.commons | commons-compress | 1.27.1 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.17.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text (通用文本库) | 1.13.0 |
| org.apache.curator | curator-client | 5.7.1 |
| org.apache.curator | curator-framework | 5.7.1 |
| org.apache.curator | curator-recipes | 5.7.1 |
| org.apache.datasketches | datasketches-java | 6.1.1 |
| org.apache.datasketches | 数据素描-内存 | 3.0.2 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | Hadoop 客户端运行时 | 3.4.1 |
| org.apache.hive | hive-beeline | 2.3.10 |
| org.apache.hive | hive-cli | 2.3.10 |
| org.apache.hive | hive-jdbc | 2.3.10 |
| org.apache.hive | hive-llap-client | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | hive-serde | 2.3.10 |
| org.apache.hive | 海蜂垫片 | 2.3.10 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | hive-shims-common | 2.3.10 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.10 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core | 2.24.3 |
| org.apache.logging.log4j | log4j-layout-template-json（日志4j布局模板JSON） | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| \ org.apache.orc | orc-core | 2.1.1-shaded-protobuf |
| \ org.apache.orc | orc格式 | 1.1.0-shaded-protobuf |
| \ org.apache.orc | orc-mapreduce | 2.1.1-shaded-protobuf |
| \ org.apache.orc | orc-shims | 2.1.1 |
| org.apache.poi | poi | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.1 |
| org.apache.xbean | xbean-asm9-shaded | 4.26 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | 动物园管理员 | 3.9.3 |
| org.apache.zookeeper | zookeeper-jute | 3.9.3 |
| org.checkerframework | checker-qual | 3.43.0 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-continuation | 9.4.53.v20231009 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-io | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-jndi | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-plus | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-proxy | 9.4.53.v20231009 |
| org.eclipse.jetty | 码头安全 | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-servlet | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-servlets | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-util | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.53.v20231009 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.53.v20231009 |
| org.eclipse.jetty | jetty-xml | 9.4.53.v20231009 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.53.v20231009 |
| org.eclipse.jetty.websocket | WebSocket客户端 | 9.4.53.v20231009 |
| org.eclipse.jetty.websocket | WebSocket-通用 | 9.4.53.v20231009 |
| org.eclipse.jetty.websocket | WebSocket服务器 | 9.4.53.v20231009 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.53.v20231009 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.41 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.41 |
| org.glassfish.jersey.core | jersey-client | 2.41 |
| org.glassfish.jersey.core | jersey-common | 2.41 |
| org.glassfish.jersey.core | jersey-server | 2.41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.41 |
| org.hibernate.validator | hibernate-validator | 6.2.5.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss 日志 | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 注释 | 17.0.0 |
| org.jline | jline | 3.27.1-jdk8 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.9.1 |
| org.objenesis | objenesis | 3.3 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 1.2.1 |
| .rocksdb | rocksdbjni | 9.8.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.3.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalameta | common_2.13 | 4.13.5 |
| org.scalameta | io_2.13 | 4.13.5 |
| org.scalameta | mdoc-parser_2.13 | 2.6.4 |
| org.scalameta | metaconfig-core_2.13 | 0.15.0 |
| org.scalameta | metaconfig-pprint_2.13 | 0.15.0 |
| org.scalameta | metaconfig-typesafe-config_2.13 | 0.15.0 |
| org.scalameta | parsers_2.13 | 4.13.5 |
| org.scalameta | scalafmt-config_2.13 | 3.9.6 |
| org.scalameta | scalafmt-core_2.13 | 3.9.6 |
| org.scalameta | scalafmt-macros_2.13 | 3.9.6 |
| org.scalameta | scalafmt-sysops_2.13 | 3.9.6 |
| org.scalameta | scalameta_2.13 | 4.13.5 |
| org.scalameta | trees_2.13 | 4.13.5 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | 与Scalatest兼容 | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.8.0 |
| org.tukaani | xz | 1.10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | paiges-core_2.13 | 0.4.4 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-平台_2.13 | 0.18.0 |
| org.typelevel | spire-util_2.13 | 0.18.0 |
| org.typelevel | 尖塔_2.13 | 0.18.0 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.5.0-linux-x86_64 |
| 斯塔克斯 | stax-api | 1.0.1 |
小窍门
若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。