Databricks Runtime 13.3 LTS
以下发行说明提供了由 Apache Spark 3.4.1 提供支持的 Databricks Runtime 13.3 LTS 的相关信息。
Databricks 于 2023 年 8 月发布了这些映像。
新增功能和改进
- 对共享群集的 Scala 支持
- Unity Catalog 共享群集上的 init 脚本、JAR 和 Maven 坐标的允许列表为公共预览版
- 对 init 脚本和 JAR 的卷支持为公共预览版
- 默认情况下，为 Delta Lake 操作启用了安全强制转换
- 推出 Unity Catalog 标记
- 如果在查询计划和调用之间修改了文件，Databricks Runtime 将返回错误
- 使用动态分区覆盖时阻止架构覆盖
- 将 copyFile API 集成到 dbutils.fs.cp 中
- Databricks ODBC/JDBC 驱动程序支持
- 支持未命名（位置）参数标记
- 启用时序列标签
- 新位图 SQL 函数
- 改进的加密函数
- Unity Catalog 对 REFRESH FOREIGN 的支持
- INSERT BY NAME
- 与 Delta Sharing 共享具体化视图
对共享群集的 Scala 支持
使用 Databricks Runtime 13.3 及更高版本时，启用 Unity Catalog 的共享群集现在支持 Scala。
Unity Catalog 共享群集上的 init 脚本、JAR 和 Maven 坐标的允许列表为公共预览版
现在，你可以使用 Unity Catalog allowlist 来控制以下操作：在其共享模式运行 Databricks Runtime 13.3 及更高版本的计算上安装 init 脚本、JAR 和 Maven 坐标。 请参阅将共享计算上的库和 init 脚本加入允许列表。
对 init 脚本和 JAR 的卷支持为公共预览版
现在，你可以使用 Unity Catalog 卷，在其分配或共享访问模式运行 Databricks Runtime 13.3 及更高版本的计算上存储 init 脚本和 JAR。 请参阅可以在哪里安装 init 脚本？和群集范围的库。
默认情况下，为 Delta Lake 操作启用了安全强制转换
当值无法安全地强制转换为目标表架构中的类型时，Delta UPDATE 和 MERGE 操作现在会导致错误。 Delta 中的所有隐式强制转换现在都遵循 spark.sql.storeAssignmentPolicy 而不是 spark.sql.ansi.enabled。 请参阅Databricks Runtime 中的 ANSI 合规性。
Unity Catalog 标记简介
使用 Databricks Runtime 13.3 LTS 及更高版本，你可以将标记应用到安全对象。 标记有助于组织安全对象并简化数据资产的搜索和发现。 请参阅“将标记应用于 Unity Catalog 安全对象”。
如果在查询计划和调用之间修改文件，Databricks Runtime 将返回错误
如果在查询计划和调用之间更新了文件，Databricks Runtime 查询现在会返回错误。 在此更改之前，Databricks Runtime 会在这些阶段之间读取文件，这偶尔会导致意外结果。
使用动态分区覆盖时阻止架构覆盖
不能将 overwriteSchema 设置为 true 与 Delta Lake 中的动态分区覆盖相结合。 这样可以防止由于架构不匹配而导致的表损坏。 请参阅动态分区覆盖。
将 copyFile API 集成到 dbutils.fs.cp 中
dbutils 复制命令，dbutils.fs.cp 现在经过优化，可以更快地进行复制。 有了这一改进，根据文件大小的不同，复制操作的速度可以提高 100 倍。 功能可在 Azure Databricks 中可访问的所有文件系统中使用，包括 Unity Catalog 卷和 Databricks 文件系统装载。
Databricks ODBC/JDBC 驱动程序支持
Azure Databricks 支持过去 2 年中发布的 ODBC 和 JDBC 驱动程序。 在下载 ODBC 驱动程序和下载 JDBC 驱动程序下载最新的驱动程序。
支持未命名（位置）参数标记
除了使用 :parm 语法的参数化查询之外，SparkSession.sql() API 现在还支持使用 ? 语法的参数化查询。 请参阅参数标记。
启用时序列标签
现在，可以在创建主键约束时为时序列添加标签。
新位图 SQL 函数
Azure Databricks 现在提供了一组函数，可用于将整数数值映射到位图上并聚合它们。 这可以用于预先计算不同值的数量。
改进的加密函数
通过支持初始化向量 (IV) 和身份认证附加数据 (AAD)，aes_encrypt、aes_decrypt 和 try_aes_decrypt 函数得到了改进。
Unity Catalog 对 REFRESH FOREIGN 的支持
现在可以使用 REFRESH FOREIGN CATALOG、REFRESH FOREIGN SCHEMA 和 REFRESH FOREIGN TABLE 更新 Unity Catalog 中的外部目录、架构和表。 请参阅 REFRESH FOREIGN (CATALOG、SCHEMA、TABLE)。
INSERT BY NAME
现在当将行插入表中时，可以让 Azure Databricks 按名称自动将源查询中的列和字段映射到表的列。 请参阅 INSERT INTO。
与 Delta Sharing 共享具体化视图
ALTER SHARE 语句现在支持具体化视图。
中断性变更
使用 MERGE INTO 和 UPDATE 在表中存储行时，对隐式转换的更改
Azure Databricks 现在遵循在表中存储行时隐式转换的配置 spark.sql.storeAssignmentPolicy。 存储溢出的值时，默认值 ANSI 将引发错误。 以前，值默认存储为 NULL。
如以下示例所示，可以通过重写表，为导致错误的列使用更广泛的类型来解决溢出问题。
-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
'delta.minReaderVersion' = '2',
'delta.minWriterVersion' = '5',
'delta.columnMapping.mode' = 'name'
)
-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT
-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old
-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old
Parquet 架构推理更改
从不是以 Spark 编写的 Parquet 文件推理架构时，使用 isAdjustedToUTC=false 批注的 int64 时间戳列现在将默认为 TIMESTAMP_NTZ 类型。 以前，这些列会推理为 TIMESTAMP 类型。 此项更新增强了将 Parquet 类型映射到 Spark SQL 类型的准确度。
因此，如果未启用 timestampNtz 功能，将数据从外部 Parquet 文件读取到 Delta 表中可能会导致错误。 显示的错误如下所示：
Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.
若要维持以前的行为并防止出现此错误，可以将 Spark 配置参数 spark.sql.parquet.inferTimestampNTZ.enabled 设置为 false。
库升级
- 升级了 Python 库：
- debugpy 已从 1.5.1 升级到 1.6.0
- distlib 已从 0.3.6 升级到 0.3.7
- fastjsonschema 已从 2.16.3 升级到 2.18.0
- filelock 已从 3.12.0 升级到 3.12.2
- 升级了 R 库：
- SparkR 已从 3.4.0 升级到 3.4.1
- 升级了 Java 库：
- org.apache.orc.orc-core 已从 1.8.3-shaded-protobuf 升级到 1.8.4-shaded-protobuf
- org.apache.orc.orc-mapreduce 已从 1.8.3-shaded-protobuf 升级到 1.8.4-shaded-protobuf
- org.apache.orc.orc-shims 已从 1.8.3 升级到 1.8.4
- org.eclipse.jetty.jetty-client 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-continuation 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-http 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-io 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-jndi 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-plus 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-proxy 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-security 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-server 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlet 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlets 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-util 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-util-ajax 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-webapp 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-xml 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-api 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-client 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-common 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-server 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-servlet 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.xerial.snappy.snappy-java 已从 1.1.8.4 升级到 1.1.10.1
Apache Spark
Databricks Runtime 13.3 包含 Apache Spark 3.4.1。 此版本包括 Databricks Runtime 13.2（不受支持）中所包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：
- 现在可以将群集环境变量
SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12设置为使用 Spark-snowflake 连接器 v2.12.0。 - [SPARK-43380] [DBRRM-383] 还原“[SC-133100][SQL] 修复 Avro 数据类型转换…
- [SPARK-44504] [Backport][13.2][13.x][13.3] 卸载提供程序，从而在维护任务出错时强制关闭 DB 实例并释放资源
- [SPARK-44059] [SC-137023] 为内置函数添加对命名参数的分析器支持
- [SPARK-44485] [SC-137653][SQL] 优化 TreeNode.generateTreeString
- [SPARK-42944] [SC-137164][SS][PYTHON] 在 Python 中流式处理 ForeachBatch
- [SPARK-44446] [SC-136994][PYTHON] 添加对预期列表类型特殊情况的检查
- [SPARK-44439] [SC-136973][CONNECT][SS]修复了 listListeners 以仅将 ID 发送回客户端
- [SPARK-44216] [SC-136941] [PYTHON] 公开 assertSchemaEqual API
- [SPARK-44201] [SC-136778][CONNECT][SS]为 Spark Connect 添加对 Scala 中 Streaming Listener 的支持
- [SPARK-43915] [SC-134766][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43798] 还原“[SC-133990][SQL][PYTHON] 支持 Python 用户定义的表函数”
- [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
- [SPARK-44476] [SC-137169][CORE][CONNECT] 修复没有关联项目的 JobArtifactState 的项目填充
- [SPARK-44269] [SC-135817][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2310-2314]
- [SPARK-44395] [SC-136744][SQL] 更新 TVF 参数以要求 TABLE 关键字后的标识符周围有括号
- [SPARK-43915] [SC-134766][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] 为 Connect Scala Client 添加对 UDFRegistration 的支持
- [SPARK-44109] [SC-134755][CORE] 移除每个 RDD 分区的重复首选位置
- [SPARK-44169] [SC-135497][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2300-2304]
- [SPARK-41487] [SC-135636][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_1020
- [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
- [SPARK-44153] [SC-134977][CORE][UI] 支持
Executors选项卡中的Heap Histogram列 - [SPARK-44044] [SC-135695][SS] 使用流式处理改进 Window 函数的错误消息
- [SPARK-43914] [SC-135414][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2433-2437]
- [SPARK-44217] [SC-136805][PYTHON] 允许 fp 近似相等的自定义精度
- [SPARK-44370] [SC-136575][CONNECT] 将 Buf 远程生成 alpha 迁移到远程插件
- [SPARK-44410] [SC-136930][PYTHON][CONNECT] 在 create 中设置活动会话，而不仅仅是 getOrCreate
- [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] 重新启用带有相关更改的 test_artifact
- [SPARK-44145] [SC-136698][SQL] 准备执行时回叫
- [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler 类
- [SPARK-43986] [SC-135623][SQL] 为 HyperLogLog 函数调用失败创建错误类
- [SPARK-44139] [SC-134967][SQL] 在基于组的 MERGE 操作中放弃完全向下推送的筛选器
- [SPARK-44338] [SC-136718][SQL] 修复视图架构不匹配错误消息
- [SPARK-44208] [SC-135505][CORE][SQL] 为一些直接使用异常的逻辑分配清除错误类名
- [SPARK-44364] [SC-136773] [PYTHON] 添加对预期的 List[Row] 数据类型的支持
- [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils 应应用 ResolveTimeZone
- [SPARK-43389] [SC-136772][SQL] 为 lineSep 选项添加了 null 检查
- [SPARK-44388] [SC-136695][CONNECT] 修复 UDF 实例更新时的 protobuf 强制转换问题
- [SPARK-44352] [SC-136373][CONNECT] 在 DataType 中放回 sameType 和 friends。
- [SPARK-43975] [SC-134265][SQL] DataSource V2：处理基于组的源的 UPDATE 命令
- [SPARK-44360] [SC-136461][SQL] 在基于 delta 的 MERGE 操作中支持模式删除
- [SPARK-44138] [SC-134907][SQL] 禁止在 MERGE 条件下使用非确定性表达式、子查询和聚合
- [SPARK-43321] [SC-136678][Connect][Followup] Scala Client joinWith 中使用的 API 的更好名称
- [SPARK-44263] [SC-136447][CONNECT] 自定义侦听器支持
- [SPARK-39851] [SC-123383][SQL] 如果一方可以保持唯一性，则改进连接统计信息估计
- [SPARK-44390] [SC-136677][CORE][SQL] 将
SparkSerDerseUtils重命名为SparkSerDeUtils - [SPARK-44004] [SC-134751][SQL] 分配名称并针对频繁的 LEGACY 错误改进错误消息。
- [SPARK-44322] [SC-136204][CONNECT] 使解析器使用 SqlApiConf 而不是 SQLConf。
- [SPARK-44271] [SC-136347][SQL] 将默认值函数从 StructType 移动到 ResolveDefaultColumns
- [SPARK-44332] [SC-136413][CORE][WEBUI] 修复执行程序 UI 页面上执行程序 ID 列的排序错误
- [SPARK-44282] [SC-135948][CONNECT] 准备用于 Spark Connect Scala Client 的 DataType 解析
- [SPARK-44349] [SC-136581][R] 将数学函数添加到 SparkR
- [SPARK-44397] [SC-136647][PYTHON] 在 pyspark.testing.utils 中公开 assertDataFrameEqual
- [SPARK-42981] [SC-136620][CONNECT] 添加直接箭头序列化
- [SPARK-44373] [SC-136577][SQL] 为 Dataset API 包装 withActive w/ 分析逻辑以使与解析器相关的配置工作
- [SPARK-44340] [SC-136574][SQL] 通过 PartitionEvaluator API 定义计算逻辑，并在 WindowGroupLimitExec 中使用它
- [SPARK-43665] [SC-136573][CONNECT][PS] 启用 PandasSQLStringFormatter.vformat 以使用 Spark Connect
- [SPARK-44325] [SC-136572][SQL] 在 SortMergeJoinExec 中使用 PartitionEvaluator API
- [SPARK-44315] [SC-136171][SQL][CONNECT] 将 DefinedByConstructorParams 移动到 sql/api
- [SPARK-44275] [SC-136184][CONNECT] 为 Scala Spark Connect 添加可配置的重试机制
- [SPARK-44326] [SC-136208][SQL][CONNECT] 将 Scala 客户端使用的 utils 移动到公共模块
- [SPARK-43321] [SC-136156][Connect] Dataset#Joinwith
- [SPARK-44343] [SC-136372][CONNECT] 准备 ScalaReflection 以移动到 SQL/API
- [SPARK-44313] [SC-136081][SQL] 修复架构中存在 char/varchar 列时生成的列表达式验证问题
- [SPARK-43963] [SC-134145][SQL] DataSource V2：处理基于组的源的 MERGE 命令
- [SPARK-44363] [SC-136433] [PYTHON] 在 DataFrame 比较中显示不相等行的百分比
- [SPARK-44251] [SC-136432][SQL] 在完全外部 USING 联接中的联合联接键上正确设置可为空
- [SPARK-43948] [SC-133366][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[0050|0057|0058|0059]
- [SPARK-44329] [SC-136326][CONNECT][PYTHON] 将 hll_sketch_agg、hll_union_agg、to_varchar、try_aes_decrypt 添加到 Scala 和 Python
- [SPARK-44351] [SC-136353][SQL] 进行一些语法简化
- [SPARK-44281] [SC-135963][SQL] 将 DataType 使用的 QueryCompilation 错误作为 DataTypeErrors 移动到 sql/api
- [SPARK-44283] [SC-136109][CONNECT] 将原点移动到SQL/API
- [SPARK-43926] [SC-135590][CONNECT][PYTHON] 将 array_agg、array_size、基数、count_min_sketch、掩码、named_struct、json_* 添加到 Scala 和 Python 中
- [SPARK-44327] [SC-136187][SQL][CONNECT] 将函数
any和len添加到 Scala - [SPARK-44290] [SC-136300][CONNECT] Spark Connect 中基于会话的文件和存档
- [SPARK-44061] [SC-136299][PYTHON] 添加 assertDataFrameEqual util 函数
- [SPARK-44331] [SC-136324][CONNECT][PYTHON] 将位图函数添加到 Scala 和 Python
- [SPARK-44342] [SC-136334][SQL] 用 GenTPCDSData 的 SparkSession 替换 SQLContext
- [SPARK-42583] [SC-124190][SQL] 如果外部联接都是不同的聚合函数，则移除它们
- [SPARK-44333] [SC-136206][CONNECT][SQL] 将 EnhancedLogicalPlan 移出 ParserUtils
- [SPARK-43824] [SC-132655][SPARK-43825] [SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_128[1-2]
- [SPARK-43939] [SC-134602][CONNECT][PYTHON] 将 try_* 函数添加到 Scala 和 Python
- [SPARK-44193] [SC-135886][CONNECT] 实现 GRPC 异常拦截进行转换
- [SPARK-44284] [SC-136107][CONNECT] 为 sql/api 创建简单的 conf 系统
- [SPARK-43913] [SC-133368][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2426-2432]
- [SPARK-44291] 还原“[SC-135924][SPARK-43416][CONNECT] 修复范围查询的不正确架构”
- [SPARK-44312] [SC-136185][CONNECT][PYTHON] 允许使用环境变量设置用户代理
- [SPARK-44154] [SC-136060] 实现位图函数
- [SPARK-43885] [SC-133996][SQL] DataSource V2：处理基于 delta 的源的 MERGE 命令
- [SPARK-43924] [SC-135161][CONNECT][PYTHON] 将 misc 函数添加到 Scala 和 Python
- [SPARK-43969] [SC-134556][SQL] 重构并将名称分配到错误类 _LEGACY_ERROR_TEMP_1170
- [SPARK-44185] [SC-135730][SQL] 修复目录操作和数据操作之间不一致的路径限定
- [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] 将日期时间函数添加到 Scala、Python 和 Connect - 第 2 部分
- [SPARK-43942] [SC-134527][CONNECT][PYTHON] 将字符串函数添加到 Scala 和 Python - 第 1 部分
- [SPARK-44266] [SC-135813][SQL] 将 Util.truncatedString 移动到 sql/api
- [SPARK-44195] [SC-135722][R] 将 JobTag API 添加到 SparkR SparkContext
- [SPARK-44200] [SC-135736][SQL] 支持 TableValuedFunction 的 TABLE 参数分析规则
- [SPARK-44254] [SC-135709][SQL] 将 DataType 使用的 QueryExecutionErrors 作为 DataTypeErrors 移动到 sql/api
- [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] 修复范围查询的不正确架构
- [SPARK-43922] [SC-135612][SQL] 在分析程序中为函数调用添加命名参数支持
- [SPARK-44300] [SC-135882][CONNECT] 修复项目清理以将删除范围限制为会话特定项目
- [SPARK-44293] [SC-135849][CONNECT] 修复 Spark Connect 中自定义 JAR 的无效 URI
- [SPARK-44215] [SC-135850][SHUFFLE] 若 num 区块为 0，则服务器应引发 RuntimeException
- [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests 应只是说明性的
- [SPARK-44274] [SC-135814][CONNECT] 将 ArtifactManager 使用的 util 函数移出到 common/utils
- [SPARK-44194] [SC-135815][PYTHON][CORE] 将 JobTag API 添加到 PySpark SparkContext
- [SPARK-42828] [SC-135733][PYTHON][SQL] GroupedData 的更显式 Python 类型注释
- [SPARK-44079] [SC-135486][SQL] 修复使用 PERMISSIVE 模式及损坏记录将数组解析为结构时损坏记录
ArrayIndexOutOfBoundsException - [SPARK-44255] [SC-135809][SQL] 将 StorageLevel 重新定位到 common/utils
- [SPARK-42169] [SC-135795] [SQL] 实现 to_csv 函数 (StructsToCsv) 的代码生成
- [SPARK-44249] [SC-135719][SQL][PYTHON] 重构 PythonUDTFRunner 以单独发送其返回类型
- [SPARK-43353] [SC-132734][PYTHON] 将剩余会话错误迁移到错误类
- [SPARK-44211] [SC-135718][PYTHON][CONNECT] 实现 SparkSession.is_stopped
- [SPARK-42784] [SC-135691] 当合并目录中的子目录数量小于 conf 时，仍应创建子目录
- [SPARK-41599] [SC-135616] 使用 InProcessLauncher 将应用提交到安全群集时，FileSystem.CACHE 内存泄漏
- [SPARK-44241] [SC-135613][Core] 错误地将 io.connectionTimeout/connectionCreationTimeout 设置为零或为负数将导致执行程序 cons/破外
- [SPARK-44133] [SC-134795][13.X][PYTHON] 将 MyPy 从 0.920 升级至 0.982
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
- [SPARK-44188] [SC-135173][CORE] 移除
ActiveJob中的无用resetAllPartitions方法 - [SPARK-43757] [SC-135418][CONNECT] 将客户端兼容性从允许列表更改为拒绝列表
- [SPARK-43474] [SC-135521] [SS] [CONNECT] 通过 ID 将 spark connect 访问添加到运行时数据帧。
- [SPARK-44183] [SC-135209][PYTHON] 将
PyArrow最低版本提升到 4.0.0 - [SPARK-44248] [SC-135554][SS][SQL][Kafka] 在 kafka 源 v2 中添加首选位置
- [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] 将日期时间函数添加到 Scala、Python 和 Connect API - 第 1 部分
- [SPARK-44161] [SC-135326][Connect] 处理 UDF 的行输入
- [SPARK-44227] [SC-135520][SQL] 从 StructField 提取 SchemaUtils
- [SPARK-44064] [SC-135116][CORE][SQL] 将新
apply函数添加到NonFateSharingCache - [SPARK-44171] [SC-135269][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2279-2282] 并删除一些未使用的错误类
- [SPARK-44056] [SC-134758][SQL] 在 UDF 执行失败错误消息中包含 UDF 名称（如果可用）
- [SPARK-44205] [SC-135422][SQL] 从 DecimalType 中提取 Catalyst Code
- [SPARK-44220] [SC-135484][SQL] 将 StringConcat 移动到 sql/api
- [SPARK-44146] [SC-135230][CONNECT] 隔离 Spark Connect Session jar 和类文件
- [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr 范围 Session.active
- [SPARK-40850] [SC-135417][SQL] 修复测试用例解释的查询可能执行 Codegen
- [SPARK-44204] [SC-135253][SQL][HIVE] 为 getPartitionNames 添加缺失的 recordHiveCall
- [SPARK-44237] [SC-135485][CORE] 简化 DirectByteBuffer 构造函数查找逻辑
- [SPARK-44189] [SC-135170][CONNECT][PYTHON] 通过
sql()支持位置参数 - [SPARK-44140] [SC-134893][SQL][PYTHON] 支持 Python 中的位置参数
sql() - [SPARK-44164] [SC-135158][SQL] 从 StructField 到 Util 类提取 toAttribute 方法
- [SPARK-44178] [SC-135113][CONNECT] 支持
sql()中的位置参数 - [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader 应在读取后关闭屏障类 InputStream
- [SPARK-43063] [SC-128382][SQL]
df.show句柄 null 应打印 NULL 而不是 null - [SPARK-42539] [SC-124464][SQL][HIVE] 为元数据客户端使用“内置”配置单元版本时，消除了单独的类加载器
- [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] 为 Catalog.listFunctions 添加可选模式
- [SPARK-44066] [SC-134878][SQL] Scala/Java 中支持位置参数
sql() - [SPARK-44078] [SC-134869][CONNECT][CORE] 添加对类加载器/资源隔离的支持
- [SPARK-43470] [SC-135187][CORE] 将 OS、Java、Python 版本信息添加到应用程序日志
- [SPARK-43136] [SC-135238][CONNECT][Followup] 为 KeyAs 添加测试
- [SPARK-39740] [SC-135093][UI]：将 vis timeline 升级到 7.7.2 以修复 CVE-2020-28487
- [SPARK-42298] [SC-133952][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2132
- [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] 为 Catalog.listTables 添加可选模式
- [SPARK-44026] [SC-135181] 允许为 SQLMetrics 提供初始值
- [SPARK-44202] [SC-135244][CORE] 将 JobTag API 添加到 JavaSparkContext
- [SPARK-44030] [SC-135237][SQL] 实现 DataTypeExpression 以为表达式提供 Unapply
- [SPARK-43876] 还原“[SC-134603][SQL] 为不同查询启用快速 hashmap”
- [SPARK-40082] [SC-126437] 当推送合并 shuffleMapStage 重试但没有运行任务时计划 mergeFinalize
- [SPARK-43888] [SC-132893][CORE] 将日志记录重新定位到 common/utils
- [SPARK-43474] [SC-134400] [SS] [CONNECT] 将 SessionHolder 添加到 SparkConnectPlanner
- [SPARK-43944] [SC-134490][CONNECT][PYTHON] 将字符串函数添加到 Scala 和 Python - 第 2 部分
- [SPARK-44134] [SC-134954][CORE] 修复在 spark-defaults.conf 中设置了资源 (GPU/FPGA) 时将其设置为 0 的问题
- [SPARK-44142] [SC-134947][PYTHON] 在实用工具中将类型替换为 tpe，以将 python 类型转换为 spark 类型
- [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] 按标记为查询取消添加 SparkContext API
- [SPARK-44000] [SC-133634][SQL] 添加提示以禁用广播和复制联接一侧
- [SPARK-43937] [SC-134362][CONNECT][PYTHON] 添加 ifnull、isnotnull、equal_null、nullif、nvl、nvl2 到 Scala 和 Python
- [SPARK-43624] [13.x][SC-134557][PS][CONNECT] 添加
EWM到 SparkConnectPlanner. - [SPARK-44040] [SC-134366][SQL] 当 AggregateExec 节点在 QueryStageExec 之上时修复计算统计信息
- [SPARK-43485] [SC-131264][SQL] 修复日期/时间 add/diff 函数的
unit参数的错误消息 - [SPARK-43794] [SC-132561][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_1335
- [SPARK-43511] [SC-134749][CONNECT][SS]为 Spark Connect 实现了 MapGroupsWithState 和 FlatMapGroupsWithState API
- [SPARK-43529] [SQL] 支持 CREATE/REPLACE TABLE OPTIONS 表达式 + 代码清理
- [SPARK-44106] [SC-134750][PYTHON][CONNECT] 为
GroupedData添加__repr__ - [SPARK-42299] [SC-133190] 将名称分配到 _LEGACY_ERROR_TEMP_2206
- [SPARK-43290] [SC-134388][SQL] 添加对 aes_encrypt IV 和 AAD 的支持
- [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] 将
currentlike 函数添加到 Scala 和 Python - [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] 将 regexp_* 函数添加到 Scala 和 Python
- [SPARK-44107] [SC-134746][CONNECT][PYTHON] 隐藏不支持的 Column 方法以防止自动完成
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
- [SPARK-43773] [SC-132659][CONNECT][PYTHON] 在 python 客户端中实现 'levenshtein(str1, str2[, threshold])' 函数
- [SPARK-44125] [SC-134745][R] 在 SparkR 中支持 Java 21
- [SPARK-43919] [SC-133374][SQL] 从行中提取 JSON 函数
- [SPARK-43769] [SC-132520][CONNECT] 实现 'levenshtein(str1, str2[, threshold])' 函数
- [SPARK-44012] [SC-134662][SS] KafkaDataConsumer 以打印一些读取状态
- [SPARK-43876] [SC-134603][SQL] 为不同查询启用快速 hashmap
- [SPARK-44024] [SC-134497][SQL] 当
unzip仅用于提取单一元素时，更改为使用map - [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] 将位操作添加到 Scala、Python 和 Connect API
- [SPARK-44092] [SC-134506][CORE] 添加
Utils.isJavaVersionAtLeast21并使用 Java 21 让core模块通过 - [SPARK-44018] [SC-134512][SQL] 改进某些 DS V2 表达式的 hashCode 和 toString
- [SPARK-44105] [SC-134582][SQL]
LastNonNull应该延迟解决 - [SPARK-44081] [SC-134434] 稍微简化 PartitionedFileUtil API
- [SPARK-43791] [SC-132531][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_1336
- [SPARK-44071] [SC-134435] 定义并使用未解析的 Unresolved[Leaf|Unary]Node 特征。
- [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] 将名称分配到错误类 _LEGACY_ERROR_TEMP_2418-2425
- [SPARK-43742] [SC-132684][SQL] 重构默认列值分辨率
- [SPARK-43493] [SC-132063][SQL] 向 levenshtein() 函数添加最大距离参数
- [SPARK-44075] [SC-134382][CONNECT] 让
transformStatCorr惰性 - [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] 将 some、bool_or、bool_and、every 添加到 Scala、Python 和 Connect
- [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] 将 make_* 函数添加到 Scala 和 Python
- [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_24[06-10]
- [SPARK-43962] [SC-133367][SQL] 改进错误消息：
CANNOT_DECODE_URL、CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE、CANNOT_PARSE_DECIMAL、CANNOT_READ_FILE_FOOTER、CANNOT_RECOGNIZE_HIVE_TYPE。 - [SPARK-43938] [SC-133887][CONNECT][PYTHON] 将 to_* 函数添加到 Scala 和 Python
- [SPARK-44055] [SC-134321][CORE] 从
CheckpointRDD移除冗余override函数 - [SPARK-43802] [SC-132597][SQL] 使用 failOnError=true 修复 unhex 和 unbase64 的 codegen
- [SPARK-43798] [SC-133990][SQL][PYTHON] 支持 Python 用户定义的表函数
- [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] 添加 any_value、approx_percentile、count_if、first_value、histogram_numeric、last_value、reduce 到 Scala、Python 和 Connect API
- [SPARK-43380] [SC-133100][SQL] 修复 Avro 数据类型转换问题，避免产生不正确的结果
- [SPARK-43803] [SC-133729] [SS] [CONNECT] 改进 awaitTermination() 以处理客户端断开连接
- [SPARK-43179] [SC-129070][SHUFFLE] 允许应用控制其元数据是否由 External Shuffle Service 保存在数据库中
Databricks ODBC/JDBC 驱动程序支持
Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC、下载 JDBC）。
系统环境
- 操作系统：Ubuntu 22.04.2 LTS
- Java：Zulu 8.70.0.23-CA-linux64
- Scala：2.12.15
- Python：3.10.12
- R：4.2.2
- Delta Lake：2.4.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 单击 | 8.0.4 | 密码系统 | 37.0.1 |
| cycler | 0.11.0 | Cython | 0.29.32 | databricks-sdk | 0.1.6 |
| dbu-python | 1.2.18 | debugpy | 1.6.0 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | distlib | 0.3.7 | docstring-to-markdown | 0.12 |
| entrypoints | 0.4 | 执行 | 1.2.0 | facets-overview | 1.0.3 |
| fastjsonschema | 2.18.0 | filelock | 3.12.2 | fonttools | 4.25.0 |
| googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.3 | importlib-metadata | 4.6.4 |
| ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.2 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | MarkupSafe | 2.0.1 | matplotlib | 3.5.2 |
| matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mistune | 0.8.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
| nbconvert | 6.4.4 | nbformat | 5.5.0 | nest-asyncio | 1.5.5 |
| nodeenv | 1.8.0 | 笔记本 | 6.4.12 | numpy | 1.21.5 |
| oauthlib | 3.2.0 | 打包 | 21.3 | pandas | 1.4.4 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.9.0 |
| patsy | 0.5.2 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.2.0 | pip | 22.2.2 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 3.19.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pycparser | 2.21 | pydantic | 1.10.6 |
| pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | python-dateutil | 2.8.2 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
| pytz | 2022.1 | pyzmq | 23.2.0 | 请求 | 2.28.1 |
| rope | 1.7.0 | s3transfer | 0.6.0 | scikit-learn | 1.1.1 |
| scipy | 1.9.1 | seaborn | 0.11.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 63.4.1 | 6 | 1.16.0 |
| soupsieve | 2.3.1 | ssh-import-id | 5.11 | stack-data | 0.6.2 |
| statsmodels | 0.13.2 | tenacity | 8.1.0 | terminado | 0.13.1 |
| testpath | 0.6.0 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tomli | 2.0.1 | tornado | 6.1 | traitlets | 5.1.1 |
| typing_extensions | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
| wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| zipp | 1.0.0 |
已安装的 R 库
R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
| 启动 | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | 凭据 | 1.3.2 | curl | 5.0.0 |
| data.table | 1.14.6 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| ellipsis | 0.3.2 | 评估 | 0.20 | fansi | 1.0.4 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
| forcats | 1.0.0 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.6.1 | future | 1.31.0 |
| future.apply | 1.10.0 | gargle | 1.3.0 | generics | 0.1.3 |
| gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.1 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.10 | hms | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.1 | lifecycle | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | markdown | 1.5 |
| MASS | 7.3-58.2 | Matrix | 1.5-1 | memoise | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
| parallelly | 1.34.0 | pillar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 进度 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | recipes | 1.0.4 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.5 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.1 | spatial | 7.3-15 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.44 | 工具 | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.2.2 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.2.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | tink | 1.7.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.7.1 |
| io.dropwizard.metrics | metrics-core | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrics-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.33 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 11.0.0 |
| org.apache.arrow | arrow-memory-core | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | arrow-vector | 11.0.0 |
| org.apache.avro | avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.4-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.4-shaded-protobuf |
| org.apache.orc | orc-shims | 1.8.4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.22 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.19.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-continuation | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-http | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-io | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-jndi | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-plus | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-proxy | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-security | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-server | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-servlet | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-servlets | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-util | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-webapp | 9.4.51.v20230217 |
| org.eclipse.jetty | jetty-xml | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.51.v20230217 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.51.v20230217 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | shims | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.1 |
| org.yaml | snakeyaml | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |