Databricks Runtime 13.3 LTS
以下发行说明提供了由 Apache Spark 3.4.1 提供支持的 Databricks Runtime 13.3 LTS 的相关信息。
Databricks 于 2023 年 8 月发布了这些映像。
新增功能和改进
- 对共享群集的 Scala 支持
- Unity Catalog 共享群集上的 init 脚本、JAR 和 Maven 坐标的允许列表为公共预览版
- 对 init 脚本和 JAR 的卷支持为公共预览版
- 默认情况下,为 Delta Lake 操作启用了安全强制转换
- 推出 Unity Catalog 标记
- 如果在查询计划和调用之间修改了文件,Databricks Runtime 将返回错误
- 使用动态分区覆盖时阻止架构覆盖
- 将 copyFile API 集成到 dbutils.fs.cp 中
- Databricks ODBC/JDBC 驱动程序支持
- 支持未命名(位置)参数标记
- 启用时序列标签
- 新位图 SQL 函数
- 改进的加密函数
- Unity Catalog 对 REFRESH FOREIGN 的支持
- INSERT BY NAME
- 与 Delta Sharing 共享具体化视图
对共享群集的 Scala 支持
使用 Databricks Runtime 13.3 及更高版本时,启用 Unity Catalog 的共享群集现在支持 Scala。
Unity Catalog 共享群集上的 init 脚本、JAR 和 Maven 坐标的允许列表为公共预览版
现在,你可以使用 Unity Catalog allowlist
来控制以下操作:在其共享模式运行 Databricks Runtime 13.3 及更高版本的计算上安装 init 脚本、JAR 和 Maven 坐标。 请参阅将共享计算上的库和 init 脚本加入允许列表。
对 init 脚本和 JAR 的卷支持为公共预览版
现在可以使用 Unity Catalog 卷在被分配或共享了运行 Databricks Runtime 13.3 和更高版本的计算上存储 init 脚本和 JAR。 请参阅计算与库和 init 脚本的兼容性,以及从卷安装库。
默认情况下,为 Delta Lake 操作启用了安全强制转换
当值无法安全地强制转换为目标表架构中的类型时,Delta UPDATE
和 MERGE
操作现在会导致错误。 Delta 中的所有隐式强制转换现在都遵循 spark.sql.storeAssignmentPolicy
而不是 spark.sql.ansi.enabled
。 请参阅Databricks Runtime 中的 ANSI 合规性。
Unity Catalog 标记简介
使用 Databricks Runtime 13.3 LTS 及更高版本,你可以将标记应用到安全对象。 标记有助于组织安全对象并简化数据资产的搜索和发现。 请参阅应用标记。
如果在查询计划和调用之间修改文件,Databricks Runtime 将返回错误
如果在查询计划和调用之间更新了文件,Databricks Runtime 查询现在会返回错误。 在此更改之前,Databricks Runtime 会在这些阶段之间读取文件,这偶尔会导致意外结果。
使用动态分区覆盖时阻止架构覆盖
不能将 overwriteSchema
设置为 true
与 Delta Lake 中的动态分区覆盖相结合。 这样可以防止由于架构不匹配而导致的表损坏。 请参阅动态分区覆盖。
将 copyFile API 集成到 dbutils.fs.cp 中
dbutils 复制命令,dbutils.fs.cp
现在经过优化,可以更快地进行复制。 有了这一改进,根据文件大小的不同,复制操作的速度可以提高 100 倍。 功能可在 Azure Databricks 中可访问的所有文件系统中使用,包括 Unity Catalog 卷和 Databricks 文件系统装载。
Databricks ODBC/JDBC 驱动程序支持
Azure Databricks 支持过去 2 年中发布的 ODBC 和 JDBC 驱动程序。 在下载 ODBC 驱动程序和下载 JDBC 驱动程序下载最新的驱动程序。
支持未命名(位置)参数标记
除了使用 :parm
语法的参数化查询之外,SparkSession.sql()
API 现在还支持使用 ?
语法的参数化查询。 请参阅参数标记。
启用时序列标签
现在,可以在创建主键约束时为时序列添加标签。
新位图 SQL 函数
Azure Databricks 现在提供了一组函数,可用于将整数数值映射到位图上并聚合它们。 这可以用于预先计算不同值的数量。
改进的加密函数
通过支持初始化向量 (IV) 和身份认证附加数据 (AAD),aes_encrypt、aes_decrypt 和 try_aes_decrypt 函数得到了改进。
Unity Catalog 对 REFRESH FOREIGN 的支持
现在可以使用 REFRESH FOREIGN CATALOG
、REFRESH FOREIGN SCHEMA
和 REFRESH FOREIGN TABLE
更新 Unity Catalog 中的外部目录、架构和表。 请参阅 REFRESH FOREIGN (CATALOG、SCHEMA、TABLE)。
INSERT BY NAME
现在当将行插入表中时,可以让 Azure Databricks 按名称自动将源查询中的列和字段映射到表的列。 请参阅 INSERT INTO。
与 Delta Sharing 共享具体化视图
ALTER SHARE 语句现在支持具体化视图。
中断性变更
使用 MERGE INTO 和 UPDATE 在表中存储行时,对隐式转换的更改
Azure Databricks 现在遵循在表中存储行时隐式转换的配置 spark.sql.storeAssignmentPolicy
。 存储溢出的值时,默认值 ANSI
将引发错误。 以前,值默认存储为 NULL
。
如以下示例所示,可以通过重写表,为导致错误的列使用更广泛的类型来解决溢出问题。
-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
'delta.minReaderVersion' = '2',
'delta.minWriterVersion' = '5',
'delta.columnMapping.mode' = 'name'
)
-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT
-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old
-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old
库升级
- 升级了 Python 库:
- debugpy 已从 1.5.1 升级到 1.6.0
- distlib 已从 0.3.6 升级到 0.3.7
- fastjsonschema 已从 2.16.3 升级到 2.18.0
- filelock 已从 3.12.0 升级到 3.12.2
- 升级了 R 库:
- SparkR 已从 3.4.0 升级到 3.4.1
- 升级了 Java 库:
- org.apache.orc.orc-core 已从 1.8.3-shaded-protobuf 升级到 1.8.4-shaded-protobuf
- org.apache.orc.orc-mapreduce 已从 1.8.3-shaded-protobuf 升级到 1.8.4-shaded-protobuf
- org.apache.orc.orc-shims 已从 1.8.3 升级到 1.8.4
- org.eclipse.jetty.jetty-client 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-continuation 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-http 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-io 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-jndi 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-plus 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-proxy 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-security 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-server 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlet 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-servlets 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-util 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-util-ajax 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-webapp 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.jetty-xml 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-api 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-client 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-common 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-server 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.eclipse.jetty.websocket.websocket-servlet 已从 9.4.50.v20221201 升级到 9.4.51.v20230217
- org.xerial.snappy.snappy-java 已从 1.1.8.4 升级到 1.1.10.1
Apache Spark
Databricks Runtime 13.3 包含 Apache Spark 3.4.1。 此版本包括 Databricks Runtime 13.2(不受支持)中所包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他 bug 修复和改进:
- 现在可以将群集环境变量
SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12
设置为使用 Spark-snowflake 连接器 v2.12.0。 - [SPARK-43380] [DBRRM-383] 还原“[SC-133100][SQL] 修复 Avro 数据类型转换…
- [SPARK-44504] [Backport][13.2][13.x][13.3] 卸载提供程序,从而在维护任务出错时强制关闭 DB 实例并释放资源
- [SPARK-44059] [SC-137023] 为内置函数添加对命名参数的分析器支持
- [SPARK-44485] [SC-137653][SQL] 优化 TreeNode.generateTreeString
- [SPARK-42944] [SC-137164][SS][PYTHON] 在 Python 中流式处理 ForeachBatch
- [SPARK-44446] [SC-136994][PYTHON] 添加对预期列表类型特殊情况的检查
- [SPARK-44439] [SC-136973][CONNECT][SS]修复了 listListeners 以仅将 ID 发送回客户端
- [SPARK-44216] [SC-136941] [PYTHON] 公开 assertSchemaEqual API
- [SPARK-44201] [SC-136778][CONNECT][SS]为 Spark Connect 添加对 Scala 中 Streaming Listener 的支持
- [SPARK-43915] [SC-134766][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43798] 还原“[SC-133990][SQL][PYTHON] 支持 Python 用户定义的表函数”
- [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
- [SPARK-44476] [SC-137169][CORE][CONNECT] 修复没有关联项目的 JobArtifactState 的项目填充
- [SPARK-44269] [SC-135817][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2310-2314]
- [SPARK-44395] [SC-136744][SQL] 更新 TVF 参数以要求 TABLE 关键字后的标识符周围有括号
- [SPARK-43915] [SC-134766][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2438-2445]
- [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] 为 Connect Scala Client 添加对 UDFRegistration 的支持
- [SPARK-44109] [SC-134755][CORE] 移除每个 RDD 分区的重复首选位置
- [SPARK-44169] [SC-135497][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2300-2304]
- [SPARK-41487] [SC-135636][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_1020
- [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
- [SPARK-44153] [SC-134977][CORE][UI] 支持
Executors
选项卡中的Heap Histogram
列 - [SPARK-44044] [SC-135695][SS] 使用流式处理改进 Window 函数的错误消息
- [SPARK-43914] [SC-135414][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2433-2437]
- [SPARK-44217] [SC-136805][PYTHON] 允许 fp 近似相等的自定义精度
- [SPARK-44370] [SC-136575][CONNECT] 将 Buf 远程生成 alpha 迁移到远程插件
- [SPARK-44410] [SC-136930][PYTHON][CONNECT] 在 create 中设置活动会话,而不仅仅是 getOrCreate
- [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] 重新启用带有相关更改的 test_artifact
- [SPARK-44145] [SC-136698][SQL] 准备执行时回叫
- [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler 类
- [SPARK-43986] [SC-135623][SQL] 为 HyperLogLog 函数调用失败创建错误类
- [SPARK-44139] [SC-134967][SQL] 在基于组的 MERGE 操作中放弃完全向下推送的筛选器
- [SPARK-44338] [SC-136718][SQL] 修复视图架构不匹配错误消息
- [SPARK-44208] [SC-135505][CORE][SQL] 为一些直接使用异常的逻辑分配清除错误类名
- [SPARK-44364] [SC-136773] [PYTHON] 添加对预期的 List[Row] 数据类型的支持
- [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils 应应用 ResolveTimeZone
- [SPARK-43389] [SC-136772][SQL] 为 lineSep 选项添加了 null 检查
- [SPARK-44388] [SC-136695][CONNECT] 修复 UDF 实例更新时的 protobuf 强制转换问题
- [SPARK-44352] [SC-136373][CONNECT] 在 DataType 中放回 sameType 和 friends。
- [SPARK-43975] [SC-134265][SQL] DataSource V2:处理基于组的源的 UPDATE 命令
- [SPARK-44360] [SC-136461][SQL] 在基于 delta 的 MERGE 操作中支持模式删除
- [SPARK-44138] [SC-134907][SQL] 禁止在 MERGE 条件下使用非确定性表达式、子查询和聚合
- [SPARK-43321] [SC-136678][Connect][Followup] Scala Client joinWith 中使用的 API 的更好名称
- [SPARK-44263] [SC-136447][CONNECT] 自定义侦听器支持
- [SPARK-39851] [SC-123383][SQL] 如果一方可以保持唯一性,则改进连接统计信息估计
- [SPARK-44390] [SC-136677][CORE][SQL] 将
SparkSerDerseUtils
重命名为SparkSerDeUtils
- [SPARK-44004] [SC-134751][SQL] 分配名称并针对频繁的 LEGACY 错误改进错误消息。
- [SPARK-44322] [SC-136204][CONNECT] 使解析器使用 SqlApiConf 而不是 SQLConf。
- [SPARK-44271] [SC-136347][SQL] 将默认值函数从 StructType 移动到 ResolveDefaultColumns
- [SPARK-44332] [SC-136413][CORE][WEBUI] 修复执行程序 UI 页面上执行程序 ID 列的排序错误
- [SPARK-44282] [SC-135948][CONNECT] 准备用于 Spark Connect Scala Client 的 DataType 解析
- [SPARK-44349] [SC-136581][R] 将数学函数添加到 SparkR
- [SPARK-44397] [SC-136647][PYTHON] 在 pyspark.testing.utils 中公开 assertDataFrameEqual
- [SPARK-42981] [SC-136620][CONNECT] 添加直接箭头序列化
- [SPARK-44373] [SC-136577][SQL] 为 Dataset API 包装 withActive w/ 分析逻辑以使与解析器相关的配置工作
- [SPARK-44340] [SC-136574][SQL] 通过 PartitionEvaluator API 定义计算逻辑,并在 WindowGroupLimitExec 中使用它
- [SPARK-43665] [SC-136573][CONNECT][PS] 启用 PandasSQLStringFormatter.vformat 以使用 Spark Connect
- [SPARK-44325] [SC-136572][SQL] 在 SortMergeJoinExec 中使用 PartitionEvaluator API
- [SPARK-44315] [SC-136171][SQL][CONNECT] 将 DefinedByConstructorParams 移动到 sql/api
- [SPARK-44275] [SC-136184][CONNECT] 为 Scala Spark Connect 添加可配置的重试机制
- [SPARK-44326] [SC-136208][SQL][CONNECT] 将 Scala 客户端使用的 utils 移动到公共模块
- [SPARK-43321] [SC-136156][Connect] Dataset#Joinwith
- [SPARK-44343] [SC-136372][CONNECT] 准备 ScalaReflection 以移动到 SQL/API
- [SPARK-44313] [SC-136081][SQL] 修复架构中存在 char/varchar 列时生成的列表达式验证问题
- [SPARK-43963] [SC-134145][SQL] DataSource V2:处理基于组的源的 MERGE 命令
- [SPARK-44363] [SC-136433] [PYTHON] 在 DataFrame 比较中显示不相等行的百分比
- [SPARK-44251] [SC-136432][SQL] 在完全外部 USING 联接中的联合联接键上正确设置可为空
- [SPARK-43948] [SC-133366][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[0050|0057|0058|0059]
- [SPARK-44329] [SC-136326][CONNECT][PYTHON] 将 hll_sketch_agg、hll_union_agg、to_varchar、try_aes_decrypt 添加到 Scala 和 Python
- [SPARK-44351] [SC-136353][SQL] 进行一些语法简化
- [SPARK-44281] [SC-135963][SQL] 将 DataType 使用的 QueryCompilation 错误作为 DataTypeErrors 移动到 sql/api
- [SPARK-44283] [SC-136109][CONNECT] 将原点移动到SQL/API
- [SPARK-43926] [SC-135590][CONNECT][PYTHON] 将 array_agg、array_size、基数、count_min_sketch、掩码、named_struct、json_* 添加到 Scala 和 Python 中
- [SPARK-44327] [SC-136187][SQL][CONNECT] 将函数
any
和len
添加到 Scala - [SPARK-44290] [SC-136300][CONNECT] Spark Connect 中基于会话的文件和存档
- [SPARK-44061] [SC-136299][PYTHON] 添加 assertDataFrameEqual util 函数
- [SPARK-44331] [SC-136324][CONNECT][PYTHON] 将位图函数添加到 Scala 和 Python
- [SPARK-44342] [SC-136334][SQL] 用 GenTPCDSData 的 SparkSession 替换 SQLContext
- [SPARK-42583] [SC-124190][SQL] 如果外部联接都是不同的聚合函数,则移除它们
- [SPARK-44333] [SC-136206][CONNECT][SQL] 将 EnhancedLogicalPlan 移出 ParserUtils
- [SPARK-43824] [SC-132655][SPARK-43825] [SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_128[1-2]
- [SPARK-43939] [SC-134602][CONNECT][PYTHON] 将 try_* 函数添加到 Scala 和 Python
- [SPARK-44193] [SC-135886][CONNECT] 实现 GRPC 异常拦截进行转换
- [SPARK-44284] [SC-136107][CONNECT] 为 sql/api 创建简单的 conf 系统
- [SPARK-43913] [SC-133368][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2426-2432]
- [SPARK-44291] 还原“[SC-135924][SPARK-43416][CONNECT] 修复范围查询的不正确架构”
- [SPARK-44312] [SC-136185][CONNECT][PYTHON] 允许使用环境变量设置用户代理
- [SPARK-44154] [SC-136060] 实现位图函数
- [SPARK-43885] [SC-133996][SQL] DataSource V2:处理基于 delta 的源的 MERGE 命令
- [SPARK-43924] [SC-135161][CONNECT][PYTHON] 将 misc 函数添加到 Scala 和 Python
- [SPARK-43969] [SC-134556][SQL] 重构并将名称分配到错误类 _LEGACY_ERROR_TEMP_1170
- [SPARK-44185] [SC-135730][SQL] 修复目录操作和数据操作之间不一致的路径限定
- [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] 将日期时间函数添加到 Scala、Python 和 Connect - 第 2 部分
- [SPARK-43942] [SC-134527][CONNECT][PYTHON] 将字符串函数添加到 Scala 和 Python - 第 1 部分
- [SPARK-44266] [SC-135813][SQL] 将 Util.truncatedString 移动到 sql/api
- [SPARK-44195] [SC-135722][R] 将 JobTag API 添加到 SparkR SparkContext
- [SPARK-44200] [SC-135736][SQL] 支持 TableValuedFunction 的 TABLE 参数分析规则
- [SPARK-44254] [SC-135709][SQL] 将 DataType 使用的 QueryExecutionErrors 作为 DataTypeErrors 移动到 sql/api
- [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] 修复范围查询的不正确架构
- [SPARK-43922] [SC-135612][SQL] 在分析程序中为函数调用添加命名参数支持
- [SPARK-44300] [SC-135882][CONNECT] 修复项目清理以将删除范围限制为会话特定项目
- [SPARK-44293] [SC-135849][CONNECT] 修复 Spark Connect 中自定义 JAR 的无效 URI
- [SPARK-44215] [SC-135850][SHUFFLE] 若 num 区块为 0,则服务器应引发 RuntimeException
- [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests 应只是说明性的
- [SPARK-44274] [SC-135814][CONNECT] 将 ArtifactManager 使用的 util 函数移出到 common/utils
- [SPARK-44194] [SC-135815][PYTHON][CORE] 将 JobTag API 添加到 PySpark SparkContext
- [SPARK-42828] [SC-135733][PYTHON][SQL] GroupedData 的更显式 Python 类型注释
- [SPARK-44079] [SC-135486][SQL] 修复使用 PERMISSIVE 模式及损坏记录将数组解析为结构时损坏记录
ArrayIndexOutOfBoundsException
- [SPARK-44255] [SC-135809][SQL] 将 StorageLevel 重新定位到 common/utils
- [SPARK-42169] [SC-135795] [SQL] 实现 to_csv 函数 (StructsToCsv) 的代码生成
- [SPARK-44249] [SC-135719][SQL][PYTHON] 重构 PythonUDTFRunner 以单独发送其返回类型
- [SPARK-43353] [SC-132734][PYTHON] 将剩余会话错误迁移到错误类
- [SPARK-44211] [SC-135718][PYTHON][CONNECT] 实现 SparkSession.is_stopped
- [SPARK-42784] [SC-135691] 当合并目录中的子目录数量小于 conf 时,仍应创建子目录
- [SPARK-41599] [SC-135616] 使用 InProcessLauncher 将应用提交到安全群集时,FileSystem.CACHE 内存泄漏
- [SPARK-44241] [SC-135613][Core] 错误地将 io.connectionTimeout/connectionCreationTimeout 设置为零或为负数将导致执行程序 cons/破外
- [SPARK-44133] [SC-134795][13.X][PYTHON] 将 MyPy 从 0.920 升级至 0.982
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
- [SPARK-44188] [SC-135173][CORE] 移除
ActiveJob
中的无用resetAllPartitions
方法 - [SPARK-43757] [SC-135418][CONNECT] 将客户端兼容性从允许列表更改为拒绝列表
- [SPARK-43474] [SC-135521] [SS] [CONNECT] 通过 ID 将 spark connect 访问添加到运行时数据帧。
- [SPARK-44183] [SC-135209][PYTHON] 将
PyArrow
最低版本提升到 4.0.0 - [SPARK-44248] [SC-135554][SS][SQL][Kafka] 在 kafka 源 v2 中添加首选位置
- [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] 将日期时间函数添加到 Scala、Python 和 Connect API - 第 1 部分
- [SPARK-44161] [SC-135326][Connect] 处理 UDF 的行输入
- [SPARK-44227] [SC-135520][SQL] 从 StructField 提取 SchemaUtils
- [SPARK-44064] [SC-135116][CORE][SQL] 将新
apply
函数添加到NonFateSharingCache
- [SPARK-44171] [SC-135269][SQL] 将名称分配到错误类 LEGACY_ERROR_TEMP[2279-2282] 并删除一些未使用的错误类
- [SPARK-44056] [SC-134758][SQL] 在 UDF 执行失败错误消息中包含 UDF 名称(如果可用)
- [SPARK-44205] [SC-135422][SQL] 从 DecimalType 中提取 Catalyst Code
- [SPARK-44220] [SC-135484][SQL] 将 StringConcat 移动到 sql/api
- [SPARK-44146] [SC-135230][CONNECT] 隔离 Spark Connect Session jar 和类文件
- [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr 范围 Session.active
- [SPARK-40850] [SC-135417][SQL] 修复测试用例解释的查询可能执行 Codegen
- [SPARK-44204] [SC-135253][SQL][HIVE] 为 getPartitionNames 添加缺失的 recordHiveCall
- [SPARK-44237] [SC-135485][CORE] 简化 DirectByteBuffer 构造函数查找逻辑
- [SPARK-44189] [SC-135170][CONNECT][PYTHON] 通过
sql()
支持位置参数 - [SPARK-44140] [SC-134893][SQL][PYTHON] 支持 Python 中的位置参数
sql()
- [SPARK-44164] [SC-135158][SQL] 从 StructField 到 Util 类提取 toAttribute 方法
- [SPARK-44178] [SC-135113][CONNECT] 支持
sql()
中的位置参数 - [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader 应在读取后关闭屏障类 InputStream
- [SPARK-43063] [SC-128382][SQL]
df.show
句柄 null 应打印 NULL 而不是 null - [SPARK-42539] [SC-124464][SQL][HIVE] 为元数据客户端使用“内置”配置单元版本时,消除了单独的类加载器
- [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] 为 Catalog.listFunctions 添加可选模式
- [SPARK-44066] [SC-134878][SQL] Scala/Java 中支持位置参数
sql()
- [SPARK-44078] [SC-134869][CONNECT][CORE] 添加对类加载器/资源隔离的支持
- [SPARK-43470] [SC-135187][CORE] 将 OS、Java、Python 版本信息添加到应用程序日志
- [SPARK-43136] [SC-135238][CONNECT][Followup] 为 KeyAs 添加测试
- [SPARK-39740] [SC-135093][UI]:将 vis timeline 升级到 7.7.2 以修复 CVE-2020-28487
- [SPARK-42298] [SC-133952][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_2132
- [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] 为 Catalog.listTables 添加可选模式
- [SPARK-44026] [SC-135181] 允许为 SQLMetrics 提供初始值
- [SPARK-44202] [SC-135244][CORE] 将 JobTag API 添加到 JavaSparkContext
- [SPARK-44030] [SC-135237][SQL] 实现 DataTypeExpression 以为表达式提供 Unapply
- [SPARK-43876] 还原“[SC-134603][SQL] 为不同查询启用快速 hashmap”
- [SPARK-40082] [SC-126437] 当推送合并 shuffleMapStage 重试但没有运行任务时计划 mergeFinalize
- [SPARK-43888] [SC-132893][CORE] 将日志记录重新定位到 common/utils
- [SPARK-43474] [SC-134400] [SS] [CONNECT] 将 SessionHolder 添加到 SparkConnectPlanner
- [SPARK-43944] [SC-134490][CONNECT][PYTHON] 将字符串函数添加到 Scala 和 Python - 第 2 部分
- [SPARK-44134] [SC-134954][CORE] 修复在 spark-defaults.conf 中设置了资源 (GPU/FPGA) 时将其设置为 0 的问题
- [SPARK-44142] [SC-134947][PYTHON] 在实用工具中将类型替换为 tpe,以将 python 类型转换为 spark 类型
- [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] 按标记为查询取消添加 SparkContext API
- [SPARK-44000] [SC-133634][SQL] 添加提示以禁用广播和复制联接一侧
- [SPARK-43937] [SC-134362][CONNECT][PYTHON] 添加 ifnull、isnotnull、equal_null、nullif、nvl、nvl2 到 Scala 和 Python
- [SPARK-43624] [13.x][SC-134557][PS][CONNECT] 添加
EWM
到 SparkConnectPlanner. - [SPARK-44040] [SC-134366][SQL] 当 AggregateExec 节点在 QueryStageExec 之上时修复计算统计信息
- [SPARK-43485] [SC-131264][SQL] 修复日期/时间 add/diff 函数的
unit
参数的错误消息 - [SPARK-43794] [SC-132561][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_1335
- [SPARK-43511] [SC-134749][CONNECT][SS]为 Spark Connect 实现了 MapGroupsWithState 和 FlatMapGroupsWithState API
- [SPARK-43529] [SQL] 支持 CREATE/REPLACE TABLE OPTIONS 表达式 + 代码清理
- [SPARK-44106] [SC-134750][PYTHON][CONNECT] 为
GroupedData
添加__repr__
- [SPARK-42299] [SC-133190] 将名称分配到 _LEGACY_ERROR_TEMP_2206
- [SPARK-43290] [SC-134388][SQL] 添加对 aes_encrypt IV 和 AAD 的支持
- [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] 将
current
like 函数添加到 Scala 和 Python - [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] 将 regexp_* 函数添加到 Scala 和 Python
- [SPARK-44107] [SC-134746][CONNECT][PYTHON] 隐藏不支持的 Column 方法以防止自动完成
- [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 格式的事件 Serde
- [SPARK-43773] [SC-132659][CONNECT][PYTHON] 在 python 客户端中实现 'levenshtein(str1, str2[, threshold])' 函数
- [SPARK-44125] [SC-134745][R] 在 SparkR 中支持 Java 21
- [SPARK-43919] [SC-133374][SQL] 从行中提取 JSON 函数
- [SPARK-43769] [SC-132520][CONNECT] 实现 'levenshtein(str1, str2[, threshold])' 函数
- [SPARK-44012] [SC-134662][SS] KafkaDataConsumer 以打印一些读取状态
- [SPARK-43876] [SC-134603][SQL] 为不同查询启用快速 hashmap
- [SPARK-44024] [SC-134497][SQL] 当
unzip
仅用于提取单一元素时,更改为使用map
- [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] 将位操作添加到 Scala、Python 和 Connect API
- [SPARK-44092] [SC-134506][CORE] 添加
Utils.isJavaVersionAtLeast21
并使用 Java 21 让core
模块通过 - [SPARK-44018] [SC-134512][SQL] 改进某些 DS V2 表达式的 hashCode 和 toString
- [SPARK-44105] [SC-134582][SQL]
LastNonNull
应该延迟解决 - [SPARK-44081] [SC-134434] 稍微简化 PartitionedFileUtil API
- [SPARK-43791] [SC-132531][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_1336
- [SPARK-44071] [SC-134435] 定义并使用未解析的 Unresolved[Leaf|Unary]Node 特征。
- [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] 将名称分配到错误类 _LEGACY_ERROR_TEMP_2418-2425
- [SPARK-43742] [SC-132684][SQL] 重构默认列值分辨率
- [SPARK-43493] [SC-132063][SQL] 向 levenshtein() 函数添加最大距离参数
- [SPARK-44075] [SC-134382][CONNECT] 让
transformStatCorr
惰性 - [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] 将 some、bool_or、bool_and、every 添加到 Scala、Python 和 Connect
- [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] 将 make_* 函数添加到 Scala 和 Python
- [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] 将名称分配到 _LEGACY_ERROR_TEMP_24[06-10]
- [SPARK-43962] [SC-133367][SQL] 改进错误消息:
CANNOT_DECODE_URL
、CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE
、CANNOT_PARSE_DECIMAL
、CANNOT_READ_FILE_FOOTER
、CANNOT_RECOGNIZE_HIVE_TYPE
。 - [SPARK-43938] [SC-133887][CONNECT][PYTHON] 将 to_* 函数添加到 Scala 和 Python
- [SPARK-44055] [SC-134321][CORE] 从
CheckpointRDD
移除冗余override
函数 - [SPARK-43802] [SC-132597][SQL] 使用 failOnError=true 修复 unhex 和 unbase64 的 codegen
- [SPARK-43798] [SC-133990][SQL][PYTHON] 支持 Python 用户定义的表函数
- [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] 添加 any_value、approx_percentile、count_if、first_value、histogram_numeric、last_value、reduce 到 Scala、Python 和 Connect API
- [SPARK-43380] [SC-133100][SQL] 修复 Avro 数据类型转换问题,避免产生不正确的结果
- [SPARK-43803] [SC-133729] [SS] [CONNECT] 改进 awaitTermination() 以处理客户端断开连接
- [SPARK-43179] [SC-129070][SHUFFLE] 允许应用控制其元数据是否由 External Shuffle Service 保存在数据库中
Databricks ODBC/JDBC 驱动程序支持
Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级(下载 ODBC、下载 JDBC)。
系统环境
- 操作系统:Ubuntu 22.04.2 LTS
- Java:Zulu 8.70.0.23-CA-linux64
- Scala:2.12.15
- Python:3.10.12
- R:4.2.2
- Delta Lake:2.4.0
已安装的 Python 库
库 | 版本 | 库 | 版本 | 库 | 版本 |
---|---|---|---|---|---|
appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
charset-normalizer | 2.0.4 | 单击 | 8.0.4 | 密码系统 | 37.0.1 |
cycler | 0.11.0 | Cython | 0.29.32 | databricks-sdk | 0.1.6 |
dbu-python | 1.2.18 | debugpy | 1.6.0 | decorator | 5.1.1 |
defusedxml | 0.7.1 | distlib | 0.3.7 | docstring-to-markdown | 0.12 |
entrypoints | 0.4 | 执行 | 1.2.0 | facets-overview | 1.0.3 |
fastjsonschema | 2.18.0 | filelock | 3.12.2 | fonttools | 4.25.0 |
googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
httplib2 | 0.20.2 | idna | 3.3 | importlib-metadata | 4.6.4 |
ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
kiwisolver | 1.4.2 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
lazr.uri | 1.0.6 | MarkupSafe | 2.0.1 | matplotlib | 3.5.2 |
matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mistune | 0.8.4 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
nbconvert | 6.4.4 | nbformat | 5.5.0 | nest-asyncio | 1.5.5 |
nodeenv | 1.8.0 | 笔记本 | 6.4.12 | numpy | 1.21.5 |
oauthlib | 3.2.0 | 打包 | 21.3 | pandas | 1.4.4 |
pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.9.0 |
patsy | 0.5.2 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Pillow | 9.2.0 | pip | 22.2.2 | platformdirs | 2.5.2 |
plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
prompt-toolkit | 3.0.36 | protobuf | 3.19.4 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
pyarrow | 8.0.0 | pycparser | 2.21 | pydantic | 1.10.6 |
pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
PyJWT | 2.3.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
pyright | 1.1.294 | pyrsistent | 0.18.0 | python-dateutil | 2.8.2 |
python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
pytz | 2022.1 | pyzmq | 23.2.0 | 请求 | 2.28.1 |
rope | 1.7.0 | s3transfer | 0.6.0 | scikit-learn | 1.1.1 |
scipy | 1.9.1 | seaborn | 0.11.2 | SecretStorage | 3.3.1 |
Send2Trash | 1.8.0 | setuptools | 63.4.1 | 6 | 1.16.0 |
soupsieve | 2.3.1 | ssh-import-id | 5.11 | stack-data | 0.6.2 |
statsmodels | 0.13.2 | tenacity | 8.1.0 | terminado | 0.13.1 |
testpath | 0.6.0 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
tomli | 2.0.1 | tornado | 6.1 | traitlets | 5.1.1 |
typing_extensions | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0.1 |
urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
zipp | 1.0.0 |
已安装的 R 库
R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。
库 | 版本 | 库 | 版本 | 库 | 版本 |
---|---|---|---|---|---|
箭头 | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
启动 | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
broom | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
crayon | 1.5.2 | 凭据 | 1.3.2 | curl | 5.0.0 |
data.table | 1.14.6 | datasets | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.3.0 | desc | 1.4.2 | devtools | 2.4.5 |
diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
ellipsis | 0.3.2 | 评估 | 0.20 | fansi | 1.0.4 |
farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
forcats | 1.0.0 | foreach | 1.5.2 | foreign | 0.8-82 |
forge | 0.2.0 | fs | 1.6.1 | future | 1.31.0 |
future.apply | 1.10.0 | gargle | 1.3.0 | generics | 0.1.3 |
gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
gower | 1.0.1 | graphics | 4.2.2 | grDevices | 4.2.2 |
grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
highr | 0.10 | hms | 1.1.2 | htmltools | 0.5.4 |
htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
lava | 1.7.1 | lifecycle | 1.0.3 | listenv | 0.9.0 |
lubridate | 1.9.1 | magrittr | 2.0.3 | markdown | 1.5 |
MASS | 7.3-58.2 | Matrix | 1.5-1 | memoise | 2.0.1 |
方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
parallelly | 1.34.0 | pillar | 1.8.1 | pkgbuild | 1.4.0 |
pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
prodlim | 2019.11.13 | profvis | 0.3.7 | 进度 | 1.2.2 |
progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
readr | 2.1.3 | readxl | 1.4.2 | recipes | 1.0.4 |
rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2.20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
rvest | 1.0.3 | sass | 0.4.5 | scales | 1.2.1 |
selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
shiny | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
SparkR | 3.4.1 | spatial | 7.3-15 | splines | 4.2.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
survival | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
tinytex | 0.44 | 工具 | 4.2.2 | tzdb | 0.3.0 |
urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.37 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.7 | zip | 2.2.2 |
已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)
组 ID | 项目 ID | 版本 |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
com.amazonaws | aws-java-sdk-config | 1.12.390 |
com.amazonaws | aws-java-sdk-core | 1.12.390 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
com.amazonaws | aws-java-sdk-directory | 1.12.390 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
com.amazonaws | aws-java-sdk-efs | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
com.amazonaws | aws-java-sdk-emr | 1.12.390 |
com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
com.amazonaws | aws-java-sdk-glue | 1.12.390 |
com.amazonaws | aws-java-sdk-iam | 1.12.390 |
com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
com.amazonaws | aws-java-sdk-kms | 1.12.390 |
com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
com.amazonaws | aws-java-sdk-logs | 1.12.390 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
com.amazonaws | aws-java-sdk-rds | 1.12.390 |
com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
com.amazonaws | aws-java-sdk-ses | 1.12.390 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
com.amazonaws | aws-java-sdk-sns | 1.12.390 |
com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
com.amazonaws | aws-java-sdk-sts | 1.12.390 |
com.amazonaws | aws-java-sdk-support | 1.12.390 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
com.amazonaws | jmespath-java | 1.12.390 |
com.clearspring.analytics | 流 (stream) | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.2.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
com.fasterxml.jackson.core | jackson-core | 2.14.2 |
com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
com.github.ben-manes.caffeine | caffeine | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.2-5 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.9 |
com.google.crypto.tink | tink | 1.7.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.1.214 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.7.1 |
io.dropwizard.metrics | metrics-core | 4.2.10 |
io.dropwizard.metrics | metrics-graphite | 4.2.10 |
io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
io.dropwizard.metrics | metrics-jmx | 4.2.10 |
io.dropwizard.metrics | metrics-json | 4.2.10 |
io.dropwizard.metrics | metrics-jvm | 4.2.10 |
io.dropwizard.metrics | metrics-servlets | 4.2.10 |
io.netty | netty-all | 4.1.87.Final |
io.netty | netty-buffer | 4.1.87.Final |
io.netty | netty-codec | 4.1.87.Final |
io.netty | netty-codec-http | 4.1.87.Final |
io.netty | netty-codec-http2 | 4.1.87.Final |
io.netty | netty-codec-socks | 4.1.87.Final |
io.netty | netty-common | 4.1.87.Final |
io.netty | netty-handler | 4.1.87.Final |
io.netty | netty-handler-proxy | 4.1.87.Final |
io.netty | netty-resolver | 4.1.87.Final |
io.netty | netty-transport | 4.1.87.Final |
io.netty | netty-transport-classes-epoll | 4.1.87.Final |
io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
io.netty | netty-transport-native-epoll | 4.1.87.Final |
io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.87.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 收集器 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pickle | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.33 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.16 |
org.apache.ant | ant-jsch | 1.9.16 |
org.apache.ant | ant-launcher | 1.9.16 |
org.apache.arrow | arrow-format | 11.0.0 |
org.apache.arrow | arrow-memory-core | 11.0.0 |
org.apache.arrow | arrow-memory-netty | 11.0.0 |
org.apache.arrow | arrow-vector | 11.0.0 |
org.apache.avro | avro | 1.11.1 |
org.apache.avro | avro-ipc | 1.11.1 |
org.apache.avro | avro-mapred | 1.11.1 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | curator-client | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | curator-recipes | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | ivy | 2.5.1 |
org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
org.apache.logging.log4j | log4j-api | 2.19.0 |
org.apache.logging.log4j | log4j-core | 2.19.0 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
org.apache.orc | orc-core | 1.8.4-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.8.4-shaded-protobuf |
org.apache.orc | orc-shims | 1.8.4 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4.22 |
org.apache.yetus | audience-annotations | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.3 |
org.apache.zookeeper | zookeeper-jute | 3.6.3 |
org.checkerframework | checker-qual | 3.19.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-continuation | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-http | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-io | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-jndi | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-plus | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-proxy | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-security | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-server | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-servlet | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-servlets | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-util | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-util-ajax | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-webapp | 9.4.51.v20230217 |
org.eclipse.jetty | jetty-xml | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-api | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-client | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-common | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-server | 9.4.51.v20230217 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.51.v20230217 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
org.glassfish.jersey.core | jersey-client | 2.36 |
org.glassfish.jersey.core | jersey-common | 2.36 |
org.glassfish.jersey.core | jersey-server | 2.36 |
org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
org.hibernate.validator | hibernate-validator | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | annotations | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 2.2.0 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.8 |
org.roaringbitmap | RoaringBitmap | 0.9.39 |
org.roaringbitmap | shims | 0.9.39 |
org.rocksdb | rocksdbjni | 7.8.3 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.15 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest-compatible | 3.2.15 |
org.scalatest | scalatest-core_2.12 | 3.2.15 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
org.scalatest | scalatest_2.12 | 3.2.15 |
org.slf4j | jcl-over-slf4j | 2.0.6 |
org.slf4j | jul-to-slf4j | 2.0.6 |
org.slf4j | slf4j-api | 2.0.6 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.1 |
org.yaml | snakeyaml | 1.33 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |