用于机器学习的 Databricks Runtime 18.0 (Beta)

Databricks Runtime 18.0 for Machine Learning(Beta)提供了一个基于Databricks Runtime 18.0(Beta)的现成的机器学习和数据科学环境。 Databricks Runtime ML 包含许多常用的机器学习库,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 还支持使用 TorchDistributor、DeepSpeed 和 Ray 进行分布式深度学习训练。

重要

用于机器学习的 Databricks Runtime 18.0 处于 Beta 阶段。 在 Beta 版期间,支持的环境的内容可能会更改。 更改可能包括包列表或已安装包的版本。

新功能和改进

Databricks Runtime 18.0 ML 基于 Databricks Runtime 18.0 构建。 有关 Databricks Runtime 18.0 中的新增功能(包括 Apache Spark MLlib 和 SparkR)的信息,请参阅 Databricks Runtime 18.0 (Beta) 发行说明。

一些库更新包括:

  • CUDA 更新到 12.9
  • flash_attn 2.8.3
  • keras 3.12.0
  • langchain 1.0.3
  • mlflow-skinny 3.5.1
  • openai 2.7.0
  • torch 2.9.0+cu129
  • torchvision 0.24.0+cu129
  • transformers 4.57.1
  • triton 3.5.0
  • xgboost 3.1.1

其他更改

从 Databricks Runtime 18.0 ML 开始,已进行以下其他更改:

  • AutoML 已删除。
  • TensorFlow 不再属于高优先级支持。

系统环境

Databricks Runtime 18.0 ML 中的系统环境不同于 Databricks Runtime 18.0,如下所示。

  • 对于 GPU 群集,Databricks Runtime ML 包含以下 NVIDIA GPU 库:
    • CUDA 12.9
    • cublas 12.9.1.4-1
    • cusolver 11.7.5.82
    • cupti 12.9.79
    • cusparse 12.5.10.65
    • cuDNN 9.15.1.9-1
    • NCCL 2.27.5

图书馆

以下部分列出了 Databricks Runtime 18.0 ML 中包含的库,这些库不同于 Databricks Runtime 18.0 中包含的库。

顶级图书馆

Databricks Runtime 18.0 ML 包含以下顶级

Python 库

Databricks Runtime 18.0 ML 用于 virtualenv Python 包管理,并包括许多常用的 ML 包。

若要在本地 Python 虚拟环境中重现 Databricks Runtime ML Python 环境,请下载 CPU 群集 requirements-cpu-18.0.txt 或 GPU 群集 requirements-gpu-18.0.txt 。 然后运行 pip install -r requirements-<cpu|gpu>-18.0.txt。 此命令安装 Databricks Runtime ML 使用的所有开源库,但不安装 Databricks 开发的库。

CPU 群集上的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
absl-py 2.3.1 accelerate 1.11.0 aiohappyeyeballs 2.4.4
aiohttp 3.11.10 aiohttp-cors 0.8.1 aiosignal 1.2.0
alembic 1.17.1 标注文档 0.0.4 注释类型 0.7.0
anyio 4.7.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
arro3-core 0.6.5 箭头 1.3.0 asttokens 3.0.0
astunparse 1.6.3 async-lru 2.0.4 属性 24.3.0
audioread 3.1.0 自动命令 2.2.2 azure-common 1.1.28
azure-core 1.36.0 azure-cosmos 4.3.1 Azure 身份识别 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.27.1
azure-storage-file-datalake 12.22.0 巴别塔 2.16.0 backports.tarfile 1.2.0
bcrypt 4.3.0 beautifulsoup4 4.12.3 黑色 24.10.0
漂白剂 6.2.0 闪烁器 1.7.0 布利斯 0.7.11
boto3 1.40.45 botocore 1.40.45 brotli 1.2.0
cachetools (缓存工具) 5.5.1 catalogue 2.0.10 certifi 2025.4.26
cffi 1.17.1 chardet 4.0.0 charset-normalizer (字符集正常化工具) 3.3.2
断路器 2.1.3 click 8.1.8 cloudpathlib 0.23.0
cloudpickle 3.0.0 cmdstanpy 1.3.0 colorful 0.5.8
colorlog 6.10.1 通讯 0.2.1 糖果 0.1.5
contourpy 1.3.1 cramjam 2.11.0 加密 44.0.1
骑行者 0.11.0 cymem 2.0.12 Cython 3.1.5
英安岩 1.9.2 databricks代理 1.4.0 databricks-connect 17.3.1
databricks-feature-engineering 0.13.0.1 Databricks软件开发工具包 (databricks-sdk) 0.67.0 dataclasses-json 0.6.7
数据集 4.3.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.8.11 修饰器 5.1.1 DeepSpeed 0.18.1
defusedxml 0.7.1 deltalake 1.1.4 Deprecated 1.2.18
莳萝 0.3.8 distlib 0.3.9 dm-tree 0.1.9
docstring-to-markdown 0.11 einops 0.8.1 评价 0.4.6
正在执行 1.2.0 各个方面概述 1.1.1 Farama-通知 0.0.4
fastapi 0.121.2 fastjsonschema 2.21.1 文件锁 (filelock) 3.17.0
filetype 1.2.0 Flask 2.2.5 FlatBuffers 25.9.23
fonttools(字体工具) 4.55.3 fqdn 1.5.1 frozenlist 1.5.0
fsspec 2023.5.0 加斯特 0.6.0 gitdb (Git数据库) 4.0.11
GitPython 3.1.43 google-api-core (谷歌 API 核心库) 2.28.1 google-auth (谷歌身份验证) 2.43.0
google-cloud-core (Google云核心) 2.5.0 谷歌云存储 (Google Cloud Storage) 3.2.0 google-crc32c 1.7.1
google-pasta 0.2.0 google-resumable-media (谷歌可恢复媒体) 2.7.2 googleapis-common-protos 1.65.0
graphql-core 3.2.4 greenlet 3.1.1 grpcio 1.67.0
grpcio-status 1.67.0 体育馆 0.28.1 h11 0.16.0
h5py 3.12.1 hf-xet 1.2.0 hjson 3.1.0
假期 0.54 httpcore 1.0.9 httplib2 0.20.4
httpx 0.28.1 huggingface-hub 0.36.0 IDNA 3.7
ImageHash 4.3.1 ImageIO 2.37.0 imbalanced-learn 0.13.0
importlib-metadata 6.6.0 importlib_resources 6.5.2 inflect 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils(IPython通用工具) 0.2.0 ipywidgets 7.8.1
isodate 0.7.2 isoduration 20.11.0 它很危险 2.2.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 jedi 0.19.2
Jinja2 3.1.6 jiter 0.12.0 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.6.0 json5 0.9.25
JSON补丁 1.33 jsonpointer 3.0.0 jsonschema 4.23.0
JSON模式规范 2023年7月1日 jupyter 1.1.1 jupyter-console 6.6.3
jupyter-events 0.12.0 jupyter-lsp 2.2.5 jupyter_client(Jupyter 客户端) 8.6.3
jupyter_core(Jupyter核心) 5.7.2 Jupyter服务器 2.15.0 Jupyter服务器终端 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server (JupyterLab 服务器) 2.27.3
jupyterlab_widgets 1.1.11 keras 3.12.0 kiwisolver 1.4.8
langchain 1.0.3 langchain-core 1.0.4 langchain-openai 1.0.2
语言代码 3.5.0 langgraph 1.0.3 langgraph-checkpoint 3.0.1
langgraph-prebuilt 1.0.4 langgraph-sdk 0.2.9 langsmith 0.4.41
语言数据 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 lazy_loader 0.4 libclang 15.0.6.1
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.0
llvmlite 0.44.0 lz4 4.3.2 Mako 1.3.10
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 棉花糖 3.26.1 matplotlib 3.10.0
matplotlib-inline 0.1.7 麦卡贝 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.19.1 minify_html 0.18.1
mistune 3.1.2 ml_dtypes 0.5.3 mlflow-skinny 3.5.1
mmh3 5.2.0 more-iterators 10.3.0 mosaicml-streaming 0.13.0
mpmath 1.3.0 MSAL 1.34.0 msal-extensions 1.3.1
msgpack 1.1.2 multidict 6.1.0 多方法 1.12
多进程 0.70.16 murmurhash 1.0.14 mypy-extensions 1.0.0
namex 0.1.0 nbclient 0.10.2 nbconvert 7.16.6
nbformat 5.10.4 nest-asyncio 1.6.0 NetworkX 3.4.2
忍者 1.13.0 nltk 3.9.1 nodeenv 1.9.1
笔记本 7.3.2 notebook_shim 0.2.4 numba 0.61.0
numpy 2.1.3 nvidia-nccl-cu12 2.28.7 oauthlib 3.2.0
oci 2.163.1 openai 2.7.0 opencensus 0.11.4
opencensus-context 0.1.3 OpenTelemetry API 1.38.0 opentelemetry-proto 1.38.0
opentelemetry-sdk(开源遥测软件开发工具包) 1.38.0 opentelemetry-semantic-conventions 0.59b0 opt_einsum 3.4.0
optree 0.17.0 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.11.4 ormsgpack 1.12.0 overrides 7.4.0
包装 24.2 熊猫 2.2.3 pandocfilters 1.5.0
paramiko 3.5.1 帕尔索 0.8.4 pathspec 0.10.3
替罪羊 1.0.1 pexpect 4.8.0 Φ系数 0.12.5
枕头 11.1.0 pip 25.0.1 platformdirs 4.3.7
plotly 5.24.1 Pluggy (Python库) 1.5.0 狗狗 1.8.2
preshed 3.0.11 prometheus_client 0.21.1 提示工具包 (prompt-toolkit) 3.0.43
propcache 0.3.1 先知 1.2.1 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.11
ptyprocess 0.7.0 pure-eval 0.2.2 puremagic 1.30
py-cpuinfo (Python CPU信息) 9.0.0 py-spy 0.4.1 py4j 0.10.9.9
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 Python代码解析器 2.21 pydantic (Python 数据验证库) 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
PyNaCl 1.5.0 pyodbc 5.2.0 pyOpenSSL 25.0.0
pyparsing 3.2.0 pyright 1.1.394 火化 1.0.3
pytesseract 0.3.10 pytest(Python 测试框架) 8.3.5 python-dateutil 2.9.0.post0
python-dotenv 1.2.1 Python代码编辑器 1.0.4 python-json-logger 3.2.1
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.2 python-snappy 0.7.3
pytoolconfig 1.2.6 pytz 2024.1 PyWavelets 1.8.0
PyYAML 6.0.2 pyzmq 26.2.0 射线 2.37.0
引用 0.30.2 regex 2024.11.6 requests 2.32.3
requests-toolbelt 1.0.0 rfc3339-validator 0.1.4 rfc3986验证器 0.1.1
rich 13.9.4 绳子 1.13.0 rpds-py 0.22.3
rsa 4.9.1 s3transfer 0.14.0 safetensors 0.6.2
scikit-image 0.25.0 scikit-learn 1.6.1 scipy 1.15.3
seaborn 0.13.2 Send2Trash 1.8.2 sentence-transformers (句子转换器) 5.1.2
sentencepiece 0.2.1 setuptools 78.1.1 沙普 0.49.1
谢灵汉姆 1.5.4 6 1.17.0 sklearn-compat 0.1.3
切片器 0.0.8 smart_open 7.5.0 smmap 5.0.0
sniffio 1.3.0 排序容器 2.4.0 音频文件 0.13.1
soupsieve 2.5 soxr 1.0.0 spacy 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.39
sqlparse 0.5.3 srsly 2.5.1 ssh-import-id 5.11
堆栈数据 0.6.3 斯塔尼奥 0.5.1 starlette 0.49.3
statsmodels 0.14.4 strictyaml 1.7.3 sympy 1.13.3
毅力 9.0.0 tensorboard 2.20.0 TensorBoard数据服务器 0.7.2
tensorboardX 2.6.4 TensorFlow 2.20.0 termcolor 3.2.0
terminado 0.17.1 textual 4.0.0 tf_keras 2.20.1
thinc 8.2.4 threadpoolctl 3.5.0 tifffile 2025年2月18日
tiktoken 0.9.0 tinycss2 1.4.0 tokenize_rt 6.1.0
分词器 0.22.1 tomli 2.0.1 火炬 2.9.0+cpu
torcheval 0.0.7 torchvision 0.24.0+cpu 龙卷风 6.5.1
tqdm 4.67.1 Traitlets 5.14.3 变压器 4.57.1
typeguard 4.4.2 打字员 0.20.0 typer-slim 0.20.0
types-python-dateutil 2.9.0.20251108 输入检查 0.9.0 输入扩展 (typing_extensions) 4.12.2
tzdata 2024.1 uc-micro-py 1.0.1 ujson 5.10.0
unattended-upgrades 0.1 URI 模板 1.3.0 urllib3 2.3.0
uvicorn 0.38.0 virtualenv 20.29.3 visions 0.8.1
wadllib 1.3.6 山葵 1.1.3 wcwidth 0.2.5
weasel 0.4.3 webcolors 25.10.0 Web编码 0.5.1
WebSocket客户端 1.8.0 Werkzeug 3.1.3 whatthepatch 1.0.2
wheel 0.45.1 每当 0.7.3 widgetsnbextension 3.6.6
wordcloud 1.9.4 裹住 1.17.0 xgboost 3.1.1
xgboost-ray 0.1.19 xxhash 3.5.0 yapf 0.40.2
yarl 1.18.0 ydata-profiling 4.17.0 齐普 3.21.0
zstandard 0.23.0 zstd 1.5.5.1

GPU 群集上的 Python 库

注释

PyTorch 使用 CUDA PyPI 依赖项提供 CUDA 支持,而不是内置于 Databricks Runtime 18.0 ML 中的 CUDA 库版本。

图书馆 版本 图书馆 版本 图书馆 版本
absl-py 2.3.1 accelerate 1.11.0 aiohappyeyeballs 2.4.4
aiohttp 3.11.10 aiohttp-cors 0.8.1 aiosignal 1.2.0
标注文档 0.0.4 注释类型 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
箭头 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 属性 24.3.0 audioread 3.1.0
自动命令 2.2.2 azure-common 1.1.28 azure-core 1.36.0
azure-cosmos 4.3.1 Azure 身份识别 1.20.0 azure-mgmt-core 1.6.0
azure-mgmt-web 8.0.0 azure-storage-blob 12.27.1 azure-storage-file-datalake 12.22.0
巴别塔 2.16.0 backports.tarfile 1.2.0 bcrypt 4.3.0
beautifulsoup4 4.12.3 黑色 24.10.0 漂白剂 6.2.0
闪烁器 1.7.0 布利斯 0.7.11 boto3 1.40.45
botocore 1.40.45 brotli 1.2.0 cachetools (缓存工具) 5.5.1
catalogue 2.0.10 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer (字符集正常化工具) 3.3.2 断路器 2.1.3
click 8.1.8 cloudpathlib 0.23.0 cloudpickle 3.0.0
cmdstanpy 1.3.0 colorful 0.5.8 colorlog 6.10.1
通讯 0.2.1 糖果 0.1.5 contourpy 1.3.1
cramjam 2.11.0 加密 44.0.1 骑行者 0.11.0
cymem 2.0.12 Cython 3.1.5 英安岩 1.9.2
databricks代理 1.4.0 databricks-connect 17.3.1 databricks-feature-engineering 0.13.0.1
Databricks软件开发工具包 (databricks-sdk) 0.67.0 dataclasses-json 0.6.7 数据集 4.3.0
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.11
修饰器 5.1.1 DeepSpeed 0.18.1 defusedxml 0.7.1
deltalake 1.1.4 Deprecated 1.2.18 莳萝 0.3.8
distlib 0.3.9 dm-tree 0.1.9 docstring-to-markdown 0.11
einops 0.8.1 评价 0.4.6 正在执行 1.2.0
各个方面概述 1.1.1 Farama-通知 0.0.4 fastapi 0.121.2
fastjsonschema 2.21.1 文件锁 (filelock) 3.17.0 filetype 1.2.0
flash_attn 2.8.3 Flask 2.2.5 FlatBuffers 25.9.23
fonttools(字体工具) 4.55.3 fqdn 1.5.1 frozenlist 1.5.0
fsspec 2023.5.0 加斯特 0.6.0 gitdb (Git数据库) 4.0.11
GitPython 3.1.43 google-api-core (谷歌 API 核心库) 2.28.1 google-auth (谷歌身份验证) 2.43.0
google-cloud-core (Google云核心) 2.5.0 谷歌云存储 (Google Cloud Storage) 3.2.0 google-crc32c 1.7.1
google-pasta 0.2.0 google-resumable-media (谷歌可恢复媒体) 2.7.2 googleapis-common-protos 1.65.0
graphql-core 3.2.4 greenlet 3.1.1 grpcio 1.67.0
grpcio-status 1.67.0 体育馆 0.28.1 h11 0.16.0
h5py 3.12.1 hf-xet 1.2.0 hjson 3.1.0
假期 0.54 httpcore 1.0.9 httplib2 0.20.4
httpx 0.28.1 huggingface-hub 0.36.0 IDNA 3.7
ImageHash 4.3.1 ImageIO 2.37.0 imbalanced-learn 0.13.0
importlib-metadata 6.6.0 importlib_resources 6.5.2 inflect 7.3.1
iniconfig 1.1.1 ipyflow-core 0.0.209 ipykernel 6.29.5
ipython 8.30.0 ipython-genutils(IPython通用工具) 0.2.0 ipywidgets 7.8.1
isodate 0.7.2 isoduration 20.11.0 它很危险 2.2.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 jedi 0.19.2
Jinja2 3.1.6 jiter 0.12.0 jmespath 1.0.1
joblib 1.4.2 joblibspark 0.6.0 json5 0.9.25
JSON补丁 1.33 jsonpointer 3.0.0 jsonschema 4.23.0
JSON模式规范 2023年7月1日 jupyter 1.1.1 jupyter-console 6.6.3
jupyter-events 0.12.0 jupyter-lsp 2.2.5 jupyter_client(Jupyter 客户端) 8.6.3
jupyter_core(Jupyter核心) 5.7.2 Jupyter服务器 2.15.0 Jupyter服务器终端 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server (JupyterLab 服务器) 2.27.3
jupyterlab_widgets 1.1.11 keras 3.12.0 kiwisolver 1.4.8
langchain 1.0.3 langchain-core 1.0.4 langchain-openai 1.0.2
语言代码 3.5.0 langgraph 1.0.3 langgraph-checkpoint 3.0.1
langgraph-prebuilt 1.0.4 langgraph-sdk 0.2.9 langsmith 0.4.41
语言数据 1.3.0 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 lazy_loader 0.4 libclang 15.0.6.1
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.0
llvmlite 0.44.0 lz4 4.3.2 Mako 1.3.10
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 棉花糖 3.26.1 matplotlib 3.10.0
matplotlib-inline 0.1.7 麦卡贝 0.7.0 mdit-py-plugins 0.3.0
mdurl 0.1.0 memray 1.19.1 minify_html 0.18.1
mistune 3.1.2 ml_dtypes 0.5.3 mlflow-skinny 3.5.1
mmh3 5.2.0 more-iterators 10.3.0 mosaicml-streaming 0.13.0
mpmath 1.3.0 MSAL 1.34.0 msal-extensions 1.3.1
msgpack 1.1.2 multidict 6.1.0 多方法 1.12
多进程 0.70.16 murmurhash 1.0.14 mypy-extensions 1.0.0
namex 0.1.0 nbclient 0.10.2 nbconvert 7.16.6
nbformat 5.10.4 nest-asyncio 1.6.0 NetworkX 3.4.2
忍者 1.13.0 nltk 3.9.1 nodeenv 1.9.1
笔记本 7.3.2 notebook_shim 0.2.4 numba 0.61.0
numpy 2.1.3 nvidia-cublas-cu12 12.9.1.4 nvidia-cuda-cupti-cu12 12.9.79
nvidia-cuda-nvrtc-cu12 12.9.86 nvidia-cuda-runtime-cu12 12.9.79 nvidia-cudnn-cu12 9.10.2.21
nvidia-cufft-cu12 11.4.1.4 nvidia-cufile-cu12 1.14.1.1 nvidia-curand-cu12 10.3.10.19
nvidia-cusolver-cu12 11.7.5.82 nvidia-cusparse-cu12 12.5.10.65 nvidia-cusparselt-cu12 0.7.1
nvidia-ml-py 13.580.82 nvidia-nccl-cu12 2.27.5 nvidia-nvjitlink-cu12 12.9.86
nvidia-nvshmem-cu12 3.3.20 nvidia-nvtx-cu12 12.9.79 oauthlib 3.2.0
oci 2.163.1 openai 2.7.0 opencensus 0.11.4
opencensus-context 0.1.3 OpenTelemetry API 1.38.0 opentelemetry-proto 1.38.0
opentelemetry-sdk(开源遥测软件开发工具包) 1.38.0 opentelemetry-semantic-conventions 0.59b0 opt_einsum 3.4.0
optree 0.17.0 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.11.4 ormsgpack 1.12.0 overrides 7.4.0
包装 24.2 熊猫 2.2.3 pandocfilters 1.5.0
paramiko 3.5.1 帕尔索 0.8.4 pathspec 0.10.3
替罪羊 1.0.1 pexpect 4.8.0 Φ系数 0.12.5
枕头 11.1.0 pip 25.0.1 platformdirs 4.3.7
plotly 5.24.1 Pluggy (Python库) 1.5.0 狗狗 1.8.2
preshed 3.0.11 prometheus_client 0.21.1 提示工具包 (prompt-toolkit) 3.0.43
propcache 0.3.1 先知 1.2.1 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.11
ptyprocess 0.7.0 pure-eval 0.2.2 puremagic 1.30
py-cpuinfo (Python CPU信息) 9.0.0 py-spy 0.4.1 py4j 0.10.9.9
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 Python代码解析器 2.21 pydantic (Python 数据验证库) 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
PyNaCl 1.5.0 pyodbc 5.2.0 pyOpenSSL 25.0.0
pyparsing 3.2.0 pyright 1.1.394 火化 1.0.3
pytesseract 0.3.10 pytest(Python 测试框架) 8.3.5 python-dateutil 2.9.0.post0
python-dotenv 1.2.1 Python代码编辑器 1.0.4 python-json-logger 3.2.1
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.2 python-snappy 0.7.3
pytoolconfig 1.2.6 pytz 2024.1 PyWavelets 1.8.0
PyYAML 6.0.2 pyzmq 26.2.0 射线 2.37.0
引用 0.30.2 regex 2024.11.6 requests 2.32.3
requests-toolbelt 1.0.0 rfc3339-validator 0.1.4 rfc3986验证器 0.1.1
rich 13.9.4 绳子 1.13.0 rpds-py 0.22.3
rsa 4.9.1 s3transfer 0.14.0 safetensors 0.6.2
scikit-image 0.25.0 scikit-learn 1.6.1 scipy 1.15.3
seaborn 0.13.2 Send2Trash 1.8.2 sentence-transformers (句子转换器) 5.1.2
sentencepiece 0.2.1 setuptools 78.1.1 沙普 0.49.1
谢灵汉姆 1.5.4 6 1.17.0 sklearn-compat 0.1.3
切片器 0.0.8 smart_open 7.5.0 smmap 5.0.0
sniffio 1.3.0 排序容器 2.4.0 音频文件 0.13.1
soupsieve 2.5 soxr 1.0.0 spacy 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.39
sqlparse 0.5.3 srsly 2.5.1 ssh-import-id 5.11
堆栈数据 0.6.3 斯塔尼奥 0.5.1 starlette 0.49.3
statsmodels 0.14.4 strictyaml 1.7.3 sympy 1.13.3
毅力 9.0.0 tensorboard 2.20.0 TensorBoard数据服务器 0.7.2
tensorboardX 2.6.4 TensorFlow 2.20.0 termcolor 3.2.0
terminado 0.17.1 textual 4.0.0 tf_keras 2.20.1
thinc 8.2.4 threadpoolctl 3.5.0 tifffile 2025年2月18日
tiktoken 0.9.0 tinycss2 1.4.0 tokenize_rt 6.1.0
分词器 0.22.1 tomli 2.0.1 火炬 2.9.0+cu129
torcheval 0.0.7 torchvision 0.24.0+cu129 龙卷风 6.5.1
tqdm 4.67.1 Traitlets 5.14.3 变压器 4.57.1
triton 3.5.0 typeguard 4.4.2 打字员 0.20.0
typer-slim 0.20.0 types-python-dateutil 2.9.0.20251108 输入检查 0.9.0
输入扩展 (typing_extensions) 4.12.2 tzdata 2024.1 uc-micro-py 1.0.1
ujson 5.10.0 unattended-upgrades 0.1 URI 模板 1.3.0
urllib3 2.3.0 uvicorn 0.38.0 virtualenv 20.29.3
visions 0.8.1 wadllib 1.3.6 山葵 1.1.3
wcwidth 0.2.5 weasel 0.4.3 webcolors 25.10.0
Web编码 0.5.1 WebSocket客户端 1.8.0 Werkzeug 3.1.3
whatthepatch 1.0.2 wheel 0.45.1 每当 0.7.3
widgetsnbextension 3.6.6 wordcloud 1.9.4 裹住 1.17.0
xgboost 3.1.1 xgboost-ray 0.1.19 xxhash 3.5.0
yapf 0.40.2 yarl 1.18.0 ydata-profiling 4.17.0
齐普 3.21.0 zstandard 0.23.0 zstd 1.5.5.1

R 软件库

R 库与 Databricks Runtime 18.0 中的 R 库 相同。

Java 和 Scala 库 (Scala 2.13 群集)

除了 Databricks Runtime 18.0 中的 Java 和 Scala 库外,Databricks Runtime 18.0 ML 还包含以下 JAR:

CPU 群集

群组标识符 工件编号 版本
ml.dmlc xgboost4j-spark_2.13 2.1.3
ml.dmlc xgboost4j_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

GPU 群集

群组标识符 工件编号 版本
ml.dmlc xgboost4j-spark_2.13 2.1.3
ml.dmlc xgboost4j_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

不支持的版本

小窍门

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。