Databricks Runtime 19 for 机器学习 (Beta)

以下发行说明提供有关 Databricks Runtime 19 ML 的信息。

Azure Databricks于 2026 年 6 月发布此版本。

Important

Databricks Runtime 19 处于 Beta 阶段。 在 Beta 版期间,支持的环境的内容可能会更改。 更改可能包括包列表或已安装包的版本。

Databricks Runtime 19 ML 基于 Databricks Runtime 19 构建。 有关 Databricks Runtime 19 中的新增功能(包括 Apache Spark MLlib 和 SparkR)的信息,请参阅 Databricks Runtime 19(Beta) 发行说明。

新功能和改进

库更新包括:

  • CUDA 更新到 13.0
  • flash_attn 2.8.3
  • langchain 1.3.1
  • mlflow-skinny 3.12.0
  • openai 2.37.0
  • torch 2.12.0
  • torchvision 0.27.0
  • transformers 4.57.6
  • triton 3.7.0
  • xgboost 3.2.0

系统环境

Databricks Runtime 19 ML 中的系统环境不同于 Databricks Runtime 19,如下所示。

  • 对于 GPU 群集,Databricks Runtime ML 包含以下 NVIDIA GPU 库:
    • CUDA 13.0
    • cublas 13.1.1.3-1
    • cusolver 12.0.4.66
    • cupti 13.0.85
    • cusparse 12.6.3.3
    • cuDNN 9.23.0.39
    • NCCL 2.28.3

Libraries

以下部分列出了 Databricks Runtime 19 ML 中包含的库,这些库不同于 Databricks Runtime 19 中包含的库。

顶层库

Databricks Runtime 19 ML 包含以下顶级

Python库

Databricks Runtime 19 ML 使用virtualenv进行 Python 包管理,并包含许多常用的机器学习包。

若要在本地 Python 虚拟环境中重现 Databricks Runtime ML 的 Python 环境,请下载用于 CPU 群集的 requirements-cpu-19.txt 或用于 GPU 群集的 requirements-gpu-19.txt。 然后运行 pip install -r requirements-<cpu|gpu>-19.txt。 此命令安装 Databricks Runtime ML 使用的所有开源库,但不安装 Databricks 开发的库。

CPU 集群上的 Python 库

Library 版本 Library 版本 Library 版本
absl-py 2.3.1 加速 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.2 aiohttp-cors 0.8.1 aiosignal 1.4.0
alembic 1.18.4 标注文档 0.0.4 annotated-types 0.7.0
anyio 4.10.0 arro3-core 0.8.0 asttokens 3.0.0
astunparse 1.6.3 attrs 25.4.0 audioread(音频读取) 3.1.0
autocommand 2.2.2 azure-core 1.41.0 azure-cosmos 4.3.1
azure-identity 1.25.3 azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0
azure-storage-blob 12.29.0 azure-storage-file-datalake (Azure 存储文件数据湖) 12.24.0 backports.tarfile 1.2.0
black 25.9.0 blinker 1.7.0 布利斯 1.3.3
boto3 1.40.46 botocore 1.40.46 cachetools 5.5.1
catalogue 2.0.10 certifi 2025.11.12 cffi 2.0.0
charset-normalizer 3.4.4 click 8.2.1 cloudpathlib 0.24.0
cloudpickle 3.1.1 cmdstanpy 1.3.0 五彩缤纷 0.5.8
colorlog 6.10.1 通讯 0.2.3 甜点 1.3.3
contourpy 1.3.3 加密 46.0.3 cycler 0.11.0
cymem 2.0.13 databricks代理 1.10.2 databricks-feature-engineering 0.13.0.1
databricks-sdk 0.108.0 dataclasses-json 0.6.7 数据集 4.8.5
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.16
修饰器 5.2.1 DeepSpeed 0.19.0 deltalake 1.5.1
Deprecated 1.3.1 dill 0.4.0 distlib 0.4.0
dm-tree 0.1.10 einops 0.8.2 评估 0.4.6
执行中 2.2.1 Farama-通知 0.0.6 fastapi 0.136.1
filelock 3.20.0 Flask 2.2.5 fonttools 4.60.1
frozenlist 1.8.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.45 google-api-core 2.30.3 google-auth 2.53.0
google-cloud-core 2.6.0 Google 云存储 (Google Cloud Storage) 3.10.1 google-crc32c 1.8.0
google-resumable-media 2.9.0 googleapis-common-protos 1.71.0 graphql-core 3.2.4
greenlet 3.2.4 grpcio 1.76.0 grpcio-status 1.76.0
体育馆 0.28.1 h11 0.16.0 hf-xet 1.5.0
hjson 3.1.0 假期 0.54 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 huggingface_hub 0.36.2
idna 3.11 ImageIO 2.37.2 imbalanced-learn(不平衡学习库) 0.14.0
importlib_metadata 8.7.0 importlib_resources 7.1.0 inflect 7.3.1
iniconfig 2.1.0 ipyflow-core 0.0.227 ipykernel 6.31.0
ipython 9.7.0 ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7
isodate (ISO标准日期) 0.7.2 它很危险 2.2.0 jaraco.collections 5.1.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.2 Jinja2 3.1.6
jiter 0.15.0 jmespath 1.0.1 joblib 1.5.2
joblibspark 0.6.0 JSON补丁 1.33 jsonpointer 3.1.1
jsonschema 4.25.0 JSON模式规范 2025.9.1 jupyter_client 8.6.3
jupyter_core 5.8.1 jupyterlab_widgets 3.0.15 kiwisolver 1.4.8
langchain 1.3.1 langchain-core 1.4.0 langchain-protocol 0.0.15
langgraph 1.2.1 langgraph-checkpoint 4.1.1 langgraph-prebuilt 1.1.0
langgraph-sdk 0.3.15 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.3
llvmlite 0.45.1 lz4 4.4.5 Mako 1.3.12
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 棉花糖 3.26.2 matplotlib 3.10.6
matplotlib-inline 0.2.1 mccabe 0.7.0 mdit-py-plugins 0.5.0
mdurl 0.1.2 memray 1.19.3 mlflow-skinny 3.12.0
mmh3 5.2.1 more-itertools 10.3.0 mpmath 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.1.2
msrest 0.7.1 multidict 6.7.0 多进程 0.70.18
murmurhash 1.0.15 mypy-extensions 1.0.0 nest-asyncio 1.6.0
NetworkX 3.5 忍者 1.13.0 nltk 3.9.2
nodeenv 1.10.0 numba 0.62.1 numpy 2.3.4
nvidia-nccl-cu12 2.30.4 oauthlib 3.2.0 openai 2.37.0
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.42.1
opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1 OpenTelemetry语义约定 0.63b1
optuna 3.6.1 optuna-integration 3.6.0 orjson 3.11.9
ormsgpack 1.12.2 封装 25.0 pandas 2.3.3
parso 0.8.5 pathspec 0.12.1 替罪羊 1.0.1
pexpect 4.9.0 pillow 12.0.0 pip(Python 包管理工具) 25.3
platformdirs 4.5.0 pluggy 1.5.0 狗狗 1.9.0
preshed 3.0.13 prometheus_client 0.21.1 prompt_toolkit 3.0.52
propcache 0.3.1 预言者 1.2.1 proto-plus 1.28.0
protobuf 6.33.5 psutil 7.0.0 ptyprocess 0.7.0
pure_eval 0.2.3 py-cpuinfo (Python CPU信息) 9.0.0 py-spy 0.4.2
pyarrow 21.0.0 pyasn1 0.6.1 pyasn1_modules 0.4.2
pyccolo 0.0.83 pycparser 2.23 pydantic 2.13.3
pydantic_core 2.46.3 pyflakes 3.2.0 Pygments 2.19.2
PyGObject 3.48.2 pyiceberg 0.11.1 PyJWT 2.10.1
pyparsing Python解析库 3.2.5 pyright 1.1.409 火化 1.1.0
pytesseract 0.3.13 pytest 8.4.2 python-dateutil 2.9.0.post0
python-dotenv 1.2.2 Python代码编辑器 1.0.4 pytokens 0.2.0
pytz 2025.2 PyYAML 6.0.3 pyzmq 27.1.0
射线 2.37.0 referencing 0.37.0 regex 2025.9.1
请求 2.32.5 requests-oauthlib 2.0.0 requests-toolbelt 1.0.0
rich 14.2.0 rpds-py 0.28.0 s3transfer 0.14.0
safetensors 0.7.0 scikit-image 0.25.2 scikit-learn 1.7.2
scipy(科学计算工具库) 1.16.3 sentence-transformers (句子转换器) 5.5.1 sentencepiece 0.2.1
setuptools 80.9.0 沙普 0.51.0 谢灵汉姆 1.5.4
six 1.17.0 切片器 0.0.8 smart_open 7.6.1
smmap 5.0.0 sniffio 1.3.0 音频文件 0.13.1
soxr 1.1.0 spacy 3.8.14 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.43 sqlparse 0.5.5
说真的 2.5.3 ssh-import-id(用于根据提供的标识符导入SSH密钥的命令行工具) 5.11 栈数据 (stack-data) 0.6.3
斯塔尼奥 0.5.1 starlette 0.52.1 statsmodels 0.14.5
strictyaml 1.7.3 sympy 1.14.0 tenacity 9.1.2
tensorboard 2.20.0 TensorBoard数据服务器 0.7.2 tensorboardX(一个用于TensorFlow的可视化工具) 2.6.5
文本的 8.2.7 thinc 8.3.13 threadpoolctl 3.5.0
tifffile 2025.10.4 tiktoken 0.13.0 tokenize_rt 6.2.0
分词器 0.22.1 tomli 2.0.1 火炬 2.12.0+cpu
torcheval 0.0.7 torchvision 0.27.0+cpu tornado 6.5.1
tqdm 4.67.1 traitlets 5.14.3 转换器 4.57.6
typeguard 4.3.0 打字员 0.25.1 typing-inspect 0.9.0
输入检查 0.4.2 typing_extensions 4.15.0 tzdata 2026.2
uc-micro-py 1.0.3 无需人工干预的升级 0.1 urllib3 2.5.0
uuid_utils 0.16.0 uvicorn 0.47.0 virtualenv 20.35.4
wadllib 1.3.6 山葵 1.1.3 wcwidth 0.2.13
鼬鼠 1.0.0 Werkzeug 3.1.3 wheel 0.45.1
每当 0.7.3 widgetsnbextension 4.0.14 wrapt 1.17.0
xgboost 3.2.0 xgboost-ray 0.1.19 xxhash 3.5.0
yarl 1.22.0 zipp 3.23.0 zstandard 0.25.0

GPU 集群上的 Python 库

注释

PyTorch 使用 CUDA PyPI 依赖项提供 CUDA 支持,而不是内置于 Databricks Runtime 19 ML 中的 CUDA 库版本。

Library 版本 Library 版本 Library 版本
absl-py 2.3.1 加速 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.2 aiohttp-cors 0.8.1 aiosignal 1.4.0
标注文档 0.0.4 annotated-types 0.7.0 anyio 4.10.0
arro3-core 0.8.0 asttokens 3.0.0 astunparse 1.6.3
attrs 25.4.0 audioread(音频读取) 3.1.0 autocommand 2.2.2
azure-core 1.41.0 azure-cosmos 4.3.1 azure-identity 1.25.3
azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0 azure-storage-blob 12.29.0
azure-storage-file-datalake (Azure 存储文件数据湖) 12.24.0 backports.tarfile 1.2.0 black 25.9.0
blinker 1.7.0 布利斯 1.3.3 boto3 1.40.46
botocore 1.40.46 cachetools 5.5.1 catalogue 2.0.10
certifi 2025.11.12 cffi 2.0.0 charset-normalizer 3.4.4
click 8.2.1 cloudpathlib 0.24.0 cloudpickle 3.1.1
cmdstanpy 1.3.0 五彩缤纷 0.5.8 colorlog 6.10.1
通讯 0.2.3 甜点 1.3.3 contourpy 1.3.3
加密 46.0.3 cuda-bindings 13.2.0 cuda-pathfinder 1.5.4
CUDA工具包 13.0.2 cycler 0.11.0 cymem 2.0.13
databricks代理 1.10.2 databricks-feature-engineering 0.13.0.1 databricks-sdk 0.108.0
dataclasses-json 0.6.7 数据集 4.8.5 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.8.16 修饰器 5.2.1
DeepSpeed 0.19.0 deltalake 1.5.1 Deprecated 1.3.1
dill 0.4.0 distlib 0.4.0 dm-tree 0.1.10
einops 0.8.2 评估 0.4.6 执行中 2.2.1
Farama-通知 0.0.6 fastapi 0.136.3 filelock 3.20.0
flash_attn 2.8.3 Flask 2.2.5 fonttools 4.60.1
frozenlist 1.8.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.45 google-api-core 2.30.3 google-auth 2.53.0
google-cloud-core 2.6.0 Google 云存储 (Google Cloud Storage) 3.10.1 google-crc32c 1.8.0
google-resumable-media 2.9.0 googleapis-common-protos 1.71.0 graphql-core 3.2.4
greenlet 3.2.4 grpcio 1.76.0 grpcio-status 1.76.0
体育馆 0.28.1 h11 0.16.0 hf-xet 1.5.0
hjson 3.1.0 假期 0.54 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 huggingface_hub 0.36.2
idna 3.11 ImageIO 2.37.2 imbalanced-learn(不平衡学习库) 0.14.0
importlib_metadata 8.7.0 importlib_resources 7.1.0 inflect 7.3.1
iniconfig 2.1.0 ipyflow-core 0.0.227 ipykernel 6.31.0
ipython 9.7.0 ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7
isodate (ISO标准日期) 0.7.2 它很危险 2.2.0 jaraco.collections 5.1.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.2 Jinja2 3.1.6
jiter 0.15.0 jmespath 1.0.1 joblib 1.5.2
joblibspark 0.6.0 JSON补丁 1.33 jsonpointer 3.1.1
jsonschema 4.25.0 JSON模式规范 2025.9.1 jupyter_client 8.6.3
jupyter_core 5.8.1 jupyterlab_widgets 3.0.15 kiwisolver 1.4.8
langchain 1.3.1 langchain-core 1.4.0 langchain-protocol 0.0.15
langgraph 1.2.1 langgraph-checkpoint 4.1.1 langgraph-prebuilt 1.1.0
langgraph-sdk 0.3.15 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.3
llvmlite 0.45.1 lz4 4.4.5 Mako 1.3.12
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 棉花糖 3.26.2 matplotlib 3.10.6
matplotlib-inline 0.2.1 mccabe 0.7.0 mdit-py-plugins 0.5.0
mdurl 0.1.2 memray 1.19.3 mlflow-skinny 3.12.0
mmh3 5.2.1 more-itertools 10.3.0 mpmath 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.1.2
msrest 0.7.1 multidict 6.7.0 多进程 0.70.18
murmurhash 1.0.15 mypy-extensions 1.0.0 nest-asyncio 1.6.0
NetworkX 3.5 忍者 1.13.0 nltk 3.9.2
nodeenv 1.10.0 numba 0.62.1 numpy 2.3.4
nvidia-cublas 13.1.1.3 nvidia-cuda-cupti 13.0.85 nvidia-cuda-nvrtc 13.0.88
nvidia-cuda-runtime 13.0.96 nvidia-cudnn-cu13 9.20.0.48 nvidia-cufft 12.0.0.61
nvidia-cufile 1.15.1.6 nvidia-curand 10.4.0.35 nvidia-cusolver 12.0.4.66
nvidia-cusparse 12.6.3.3 nvidia-cusparselt-cu13 0.8.1 nvidia-ml-py 13.580.82
nvidia-nccl-cu12 2.30.4 nvidia-nccl-cu13 2.29.7 nvidia-nvjitlink 13.0.88
nvidia-nvshmem-cu13 3.4.5 nvidia-nvtx 13.0.85 oauthlib 3.2.0
openai 2.37.0 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.42.1 opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1
OpenTelemetry语义约定 0.63b1 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.11.9 ormsgpack 1.12.2 封装 25.0
pandas 2.3.3 parso 0.8.5 pathspec 0.12.1
替罪羊 1.0.1 pexpect 4.9.0 pillow 12.0.0
pip(Python 包管理工具) 25.3 platformdirs 4.5.0 pluggy 1.5.0
狗狗 1.9.0 preshed 3.0.13 prometheus_client 0.21.1
prompt_toolkit 3.0.52 propcache 0.3.1 预言者 1.2.1
proto-plus 1.28.0 protobuf 6.33.5 psutil 7.0.0
ptyprocess 0.7.0 pure_eval 0.2.3 py-cpuinfo (Python CPU信息) 9.0.0
py-spy 0.4.2 pyarrow 21.0.0 pyasn1 0.6.1
pyasn1_modules 0.4.2 pyccolo 0.0.83 pycparser 2.23
pydantic 2.13.3 pydantic_core 2.46.3 pyflakes 3.2.0
Pygments 2.19.2 PyGObject 3.48.2 pyiceberg 0.11.1
PyJWT 2.10.1 pyparsing Python解析库 3.2.5 pyright 1.1.409
火化 1.1.0 pytesseract 0.3.13 pytest 8.4.2
python-dateutil 2.9.0.post0 python-dotenv 1.2.2 Python代码编辑器 1.0.4
pytokens 0.2.0 pytz 2025.2 PyYAML 6.0.3
pyzmq 27.1.0 射线 2.37.0 referencing 0.37.0
regex 2025.9.1 请求 2.32.5 requests-oauthlib 2.0.0
requests-toolbelt 1.0.0 rich 14.2.0 rpds-py 0.28.0
s3transfer 0.14.0 safetensors 0.7.0 scikit-image 0.25.2
scikit-learn 1.7.2 scipy(科学计算工具库) 1.16.3 sentence-transformers (句子转换器) 5.5.1
sentencepiece 0.2.1 setuptools 80.9.0 沙普 0.51.0
谢灵汉姆 1.5.4 six 1.17.0 切片器 0.0.8
smart_open 7.6.1 smmap 5.0.0 sniffio 1.3.0
音频文件 0.13.1 soxr 1.1.0 spacy 3.8.14
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.43
sqlparse 0.5.5 说真的 2.5.3 ssh-import-id(用于根据提供的标识符导入SSH密钥的命令行工具) 5.11
栈数据 (stack-data) 0.6.3 斯塔尼奥 0.5.1 starlette 0.52.1
statsmodels 0.14.5 strictyaml 1.7.3 sympy 1.14.0
tenacity 9.1.2 tensorboard 2.20.0 TensorBoard数据服务器 0.7.2
tensorboardX(一个用于TensorFlow的可视化工具) 2.6.5 文本的 8.2.7 thinc 8.3.13
threadpoolctl 3.5.0 tifffile 2025.10.4 tiktoken 0.13.0
tokenize_rt 6.2.0 分词器 0.22.1 tomli 2.0.1
火炬 2.12.0 torcheval 0.0.7 torchvision 0.27.0
tornado 6.5.1 tqdm 4.67.1 traitlets 5.14.3
转换器 4.57.6 triton 3.7.0 typeguard 4.3.0
打字员 0.25.1 typing-inspect 0.9.0 输入检查 0.4.2
typing_extensions 4.15.0 tzdata 2026.2 uc-micro-py 1.0.3
无需人工干预的升级 0.1 urllib3 2.5.0 uuid_utils 0.16.0
uvicorn 0.47.0 virtualenv 20.35.4 wadllib 1.3.6
山葵 1.1.3 wcwidth 0.2.13 鼬鼠 1.0.0
Werkzeug 3.1.3 wheel 0.45.1 每当 0.7.3
widgetsnbextension 4.0.14 wrapt 1.17.0 xgboost 3.2.0
xgboost-ray 0.1.19 xxhash 3.5.0 yarl 1.22.0
zipp 3.23.0 zstandard 0.25.0

R 软件库

R 库与 Databricks Runtime 19 中的 R 库 相同。

Java 和 Scala 库 (Scala 2.13 群集)

除了 Databricks Runtime 19 中的Java和 Scala 库,Databricks Runtime 19 ML 还包含以下 JAR:

CPU 群集

群组标识符 工件编号 版本
ml.dmlc xgboost4j-spark_2.13 2.1.3
ml.dmlc xgboost4j_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

GPU 群集

群组标识符 工件编号 版本
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.3
ml.dmlc xgboost4j-gpu_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

不支持的版本

Tip

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。