databricks Runtime 17.0 for 机器学习 (EoS)

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。

Databricks Runtime 17.0 for 机器学习 基于 Databricks Runtime 17.0 (EoS) 提供机器学习和数据科学的即用型环境。 Databricks Runtime ML 包含许多常用的机器学习库,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包括 AutoML 工具,可用于自动训练机器学习管道。 Databricks Runtime ML 还支持使用 TorchDistributor、DeepSpeed 和 Ray 进行分布式深度学习训练。

新功能和改进

Databricks Runtime 17.0 ML 基于 Databricks Runtime 17.0 构建。 有关 Databricks Runtime 17.0 中的新增功能(包括 Apache Spark MLlib 和 SparkR)的信息,请参阅 Databricks Runtime 17.0 (EoS) 发行说明。

标准群集现在支持 SparkML

Databricks Runtime 17.0 ML 支持在标准(以前称为共享)群集上运行 SparkML。 有关标准群集的信息,请参阅 访问模式。

在标准群集上运行 SparkML 时,以下限制适用:

  • 最大模型大小为 1GB。
  • 每个会话的最大模型缓存大小为 10GB。
  • 如果模型大小即将超过 1GB,则树模型训练会提前停止。
  • 不支持以下 SparkML 模型:
    • DistributedLDAModel(分布式LDA模型)
    • FPGrowthModel

其他更改

已删除 XGBoost4J-Spark

包含在 Databricks Runtime ML 早期版本中的 XGBoost4J-Spark 不包括在 Databricks Runtime 17.0 ML 中。 Databricks 建议将 Python API 用于 xgboost.spark。 请参阅针对 XGBoost 模型的分布式训练xgboost.spark。

不再支持 Cosmos DB 在线存储提供程序

Cosmos DB 在线商店提供程序与 Databricks Runtime 17.0 ML 或更高版本不兼容。

系统环境

Databricks Runtime 17.0 ML 中的系统环境不同于 Databricks Runtime 17.0,如下所示。

  • 对于 GPU 群集,Databricks Runtime ML 包含以下 NVIDIA GPU 库:
    • CUDA 12.6
    • cublas 12.6.4.1-1
    • cusolver 11.7.1.2-1
    • cupti 12.6.80-1
    • cusparse 12.5.4.2-1
    • cuDNN 9.5.1.17-1
    • NCCL 2.26.2
    • TensorRT 10.2.0.19-1

图书馆

以下部分列出了 Databricks Runtime 17.0 ML 中包含的库,这些库不同于 Databricks Runtime 17.0 中包含的库。

本节内容:

顶级图书馆

Databricks Runtime 17.0 ML 包含以下顶级 库:

Python库

Databricks Runtime 17.0 ML 使用 virtualenv 进行Python包管理,并包括许多常用的 ML 包。

除了以下部分中指定的包外,Databricks Runtime 17.0 ML 还包括以下包:

  • automl 1.30.0

若要在本地Python虚拟环境中重现 Databricks Runtime ML Python 环境,请下载 requirements-17.0.txt 文件并运行 pip install -r requirements-17.0.txt。 此命令安装 Databricks Runtime ML 使用的所有开放源代码库,但不安装 Databricks 开发的库,例如 databricks-automl 或 hyperopt 的 Databricks 分支。

Python 库在 CPU 群集上

图书馆 版本 图书馆 版本 图书馆 版本
absl-py 1.0.0 accelerate 1.5.2 aiohappyeyeballs 2.4.4
aiohttp 3.11.10 aiohttp-cors 0.8.1 aiosignal 1.2.0
alembic 1.15.2 annotated-types 0.7.0 anyio 4.6.2
argcomplete 3.6.2 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
arrow 1.3.0 astor 0.8.1 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
audioread 3.0.1 autocommand 2.2.2 azure-common 1.1.28
azure-core 1.33.0 azure-cosmos 4.3.1 azure-identity 1.20.0
azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 babel 2.16.0 backoff 2.2.1
backports.tarfile 1.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.3
black 24.10.0 bleach 6.2.0 blinker 1.7.0
blis 0.7.11 boto3 1.36.2 botocore 1.36.3
Brotli 1.1.0 cachetools 5.5.1 catalogue 2.0.10
category-encoders 2.6.3 certifi 2025年1月31日 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 circuitbreaker 2.1.3
click 8.1.7 cloudpathlib 0.21.0 cloudpickle 3.0.0
cmdstanpy 1.2.5 colorful 0.5.6 colorlog 6.9.0
comm 0.2.1 composer 0.29.0 confection 0.1.5
configparser 5.2.0 contourpy 1.3.1 coolname 2.2.0
cramjam 2.10.0 cryptography 43.0.3 cycler 0.11.0
cymem 2.0.11 Cython 3.0.12 dacite 1.9.2
databricks-automl-runtime 0.2.21 databricks-sdk 0.49.0 datasets 2.20.0
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.11
decorator 5.1.1 deepspeed 0.14.4 defusedxml 0.7.1
Deprecated 1.2.13 dill 0.3.8 distlib 0.3.9
dm-tree 0.1.9 docstring-to-markdown 0.11 entrypoints 0.4
evaluate 0.4.2 executing 0.8.3 facets-overview 1.1.1
Farama-Notifications 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
fasttext-wheel 0.9.2 filelock 3.13.1 Flask 2.2.5
flatbuffers 25.2.10 fonttools 4.55.3 fqdn 1.5.1
frozenlist 1.5.0 fsspec 2023.5.0 future 0.18.3
gast 0.4.0 gitdb 4.0.11 GitPython 3.1.43
google-api-core 2.20.0 google-auth 2.38.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.3 google-cloud-storage 2.10.0 google-crc32c 1.7.1
google-pasta 0.2.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
gql 3.5.2 graphql-core 3.2.4 greenlet 3.1.1
grpcio 1.67.0 grpcio-status 1.67.0 gunicorn 20.1.0
gymnasium 0.28.1 h11 0.14.0 h5py 3.12.1
hjson 3.1.0 holidays 0.54 htmlmin 0.1.12
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
huggingface-hub 0.30.2 idna 3.7 ImageHash 4.3.1
imageio 2.37.0 imbalanced-learn 0.13.0 importlib-metadata 6.0.0
importlib_resources 6.5.2 inflect 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.6.1
isoduration 20.11.0 itsdangerous 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jax-jumpy 1.0.0
jedi 0.19.2 Jinja2 3.1.5 jiter 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.1
json5 0.9.25 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023年7月1日 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter\_server\_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
keras 3.5.0 kiwisolver 1.4.8 langchain 0.3.21
langchain-core 0.3.55 langchain-text-splitters 0.3.8 langcodes 3.5.0
langsmith 0.1.133 language_data 1.3.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
lightning-utilities 0.14.3 linkify-it-py 2.0.0 llvmlite 0.44.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.17.1
mistune 2.0.4 ml_dtypes 0.5.1 mlflow-skinny 2.21.3
mmh3 5.1.0 more-itertools 10.3.0 mosaicml-cli 0.6.41
mosaicml-streaming 0.8.0 mpmath 1.3.0 msal 1.32.0
msal-extensions 1.3.1 msgpack 1.1.0 multidict 6.1.0
multimethod 1.12 multiprocess 0.70.16 murmurhash 1.0.12
mypy-extensions 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
networkx 3.4.2 ninja 1.11.1.1 nltk 3.9.1
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numba 0.61.0 numpy 2.1.3 nvidia-ml-py 12.570.86
oauthlib 3.2.0 oci 2.150.2 openai 1.40.2
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0.53b1 opt_einsum 3.4.0
optree 0.15.0 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.10.16 overrides 7.4.0 packaging 24.1
pandas 2.2.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.4 pathspec 0.10.3 patsy 1.0.1
pexpect 4.8.0 phik 0.12.4 pillow 11.1.0
pip 25.0 platformdirs 3.10.0 plotly 5.24.1
pluggy 1.5.0 pmdarima 2.0.4 pooch 1.8.2
preshed 3.0.9 prometheus_client 0.21.0 prompt-toolkit 3.0.43
propcache 0.2.0 prophet 1.1.6 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 puremagic 1.28
py-cpuinfo 9.0.0 py-spy 0.4.0 pyarrow 19.0.1
pyarrow-hotfix 0.6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 pyccolo 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 PyNaCl 1.5.0 pyodbc 5.2.0
pyOpenSSL 24.2.1 pyparsing 3.2.0 pyright 1.1.394
pytesseract 0.3.10 pytest 8.3.5 python-dateutil 2.9.0.post0
python-editor 1.0.4 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.0 python-snappy 0.7.3 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.8.0
PyYAML 6.0.2 pyzmq 26.2.0 questionary 2.1.0
ray 2.37.0 referencing 0.30.2 regex 2024.11.6
requests 2.32.3 requests-oauthlib 1.3.1 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 13.9.4
rope 1.12.0 rpds-py 0.22.3 rsa 4.9.1
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.11.3
safetensors 0.5.3 scikit-image 0.25.0 scikit-learn 1.6.1
scipy 1.15.1 seaborn 0.13.2 Send2Trash 1.8.2
sentence-transformers 3.0.1 sentencepiece 0.2.0 setuptools 74.0.0
shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
six 1.16.0 sklearn-compat 0.1.3 slicer 0.0.8
smart-open 7.1.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soundfile 0.12.1 soupsieve 2.5
soxr 0.5.0.post1 spacy 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.37 sqlparse 0.4.2
srsly 2.5.1 ssh-import-id 5.11 stack-data 0.2.0
stanio 0.5.1 starlette 0.46.2 statsmodels 0.14.4
strictyaml 1.7.3 sympy 1.13.3 tabulate 0.9.0
tenacity 9.0.0 tensorboard 2.19.0 tensorboard-data-server 0.7.2
tensorboardX 2.6.2.2 tensorflow 2.19.0 tensorflow-estimator 2.15.0
termcolor 3.0.1 terminado 0.17.1 textual 3.1.1
tf_keras 2.19.0 thinc 8.2.4 threadpoolctl 3.5.0
tifffile 2024年12月12日 tiktoken 0.7.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tokenizers 0.21.1 tomli 2.0.1
torch 2.4.0+cpu torch-optimizer 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 torchvision 0.19.0+cpu tornado 6.4.2
tqdm 4.67.1 traitlets 5.14.3 transformers 4.49.0
typeguard 4.4.2 typer 0.15.2 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 uc-micro-py 1.0.1
ujson 5.10.0 unattended-upgrades 0.1 uri-template 1.3.0
urllib3 2.3.0 uvicorn 0.34.2 validators 0.34.0
virtualenv 20.29.3 visions 0.8.1 wadllib 1.3.6
wasabi 1.1.3 wcwidth 0.2.5 weasel 0.4.1
webcolors 24.11.1 webencodings 0.5.1 websocket-client 1.8.0
websockets 11.0.3 Werkzeug 3.1.3 whatthepatch 1.0.2
wheel 0.45.1 widgetsnbextension 3.6.6 wordcloud 1.9.4
wrapt 1.17.0 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.5.0 yapf 0.33.0 yarl 1.18.0
ydata-profiling 4.16.1 zipp 3.21.0 zstd 1.5.5.1

Python库在GPU集群上

注释

PyTorch 使用 CUDA PyPI 依赖项提供 CUDA 支持,而不是内置于 Databricks Runtime 17.0 ML 中的 CUDA 库版本。

图书馆 版本 图书馆 版本 图书馆 版本
absl-py 1.0.0 accelerate 1.5.2 aiohappyeyeballs 2.4.4
aiohttp 3.11.10 aiohttp-cors 0.8.1 aiosignal 1.2.0
alembic 1.15.2 annotated-types 0.7.0 anyio 4.6.2
argcomplete 3.6.2 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
arrow 1.3.0 astor 0.8.1 asttokens 2.0.5
astunparse 1.6.3 async-lru 2.0.4 attrs 24.3.0
audioread 3.0.1 autocommand 2.2.2 azure-common 1.1.28
azure-core 1.33.0 azure-cosmos 4.3.1 azure-identity 1.20.0
azure-mgmt-core 1.5.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 babel 2.16.0 backoff 2.2.1
backports.tarfile 1.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.3
black 24.10.0 bleach 6.2.0 blinker 1.7.0
blis 0.7.11 boto3 1.36.2 botocore 1.36.3
Brotli 1.1.0 cachetools 5.5.1 catalogue 2.0.10
category-encoders 2.6.3 certifi 2025年1月31日 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 circuitbreaker 2.1.3
click 8.1.7 cloudpathlib 0.21.0 cloudpickle 3.0.0
cmdstanpy 1.2.5 colorful 0.5.6 colorlog 6.9.0
comm 0.2.1 composer 0.29.0 confection 0.1.5
configparser 5.2.0 contourpy 1.3.1 coolname 2.2.0
cramjam 2.10.0 cryptography 43.0.3 cycler 0.11.0
cymem 2.0.11 Cython 3.0.12 dacite 1.9.2
databricks-automl-runtime 0.2.21 databricks-sdk 0.49.0 datasets 2.20.0
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.11
decorator 5.1.1 deepspeed 0.14.4 defusedxml 0.7.1
Deprecated 1.2.13 dill 0.3.8 distlib 0.3.9
dm-tree 0.1.9 docstring-to-markdown 0.11 entrypoints 0.4
evaluate 0.4.2 executing 0.8.3 facets-overview 1.1.1
Farama-Notifications 0.0.4 fastapi 0.115.12 fastjsonschema 2.21.1
fasttext-wheel 0.9.2 filelock 3.13.1 Flask 2.2.5
flatbuffers 25.2.10 fonttools 4.55.3 fqdn 1.5.1
frozenlist 1.5.0 fsspec 2023.5.0 future 0.18.3
gast 0.4.0 gitdb 4.0.11 GitPython 3.1.43
google-api-core 2.20.0 google-auth 2.38.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.3 google-cloud-storage 2.10.0 google-crc32c 1.7.1
google-pasta 0.2.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
gql 3.5.2 graphql-core 3.2.4 greenlet 3.1.1
grpcio 1.67.0 grpcio-status 1.67.0 gunicorn 20.1.0
gymnasium 0.28.1 h11 0.14.0 h5py 3.12.1
hjson 3.1.0 holidays 0.54 htmlmin 0.1.12
httpcore 1.0.2 httplib2 0.20.4 httpx 0.27.0
huggingface-hub 0.30.2 idna 3.7 ImageHash 4.3.1
imageio 2.37.0 imbalanced-learn 0.13.0 importlib-metadata 6.0.0
importlib_resources 6.5.2 inflect 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.6.1
isoduration 20.11.0 itsdangerous 2.2.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 jax-jumpy 1.0.0
jedi 0.19.2 Jinja2 3.1.5 jiter 0.9.0
jmespath 1.0.1 joblib 1.4.2 joblibspark 0.5.1
json5 0.9.25 jsonpatch 1.33 jsonpointer 3.0.0
jsonschema 4.23.0 jsonschema-specifications 2023年7月1日 jupyter-events 0.10.0
jupyter-lsp 2.2.0 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.14.1 jupyter\_server\_terminals 0.4.4 jupyterlab 4.3.4
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 jupyterlab_server 2.27.3
keras 3.5.0 kiwisolver 1.4.8 langchain 0.3.21
langchain-core 0.3.55 langchain-text-splitters 0.3.8 langcodes 3.5.0
langsmith 0.1.133 language_data 1.3.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
lightning-utilities 0.14.3 linkify-it-py 2.0.0 llvmlite 0.44.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 3.0.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.17.1
mistune 2.0.4 ml_dtypes 0.5.1 mlflow-skinny 2.21.3
mmh3 5.1.0 more-itertools 10.3.0 mosaicml-cli 0.6.41
mosaicml-streaming 0.8.0 mpmath 1.3.0 msal 1.32.0
msal-extensions 1.3.1 msgpack 1.1.0 multidict 6.1.0
multimethod 1.12 multiprocess 0.70.16 murmurhash 1.0.12
mypy-extensions 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert 7.16.4 nbformat 5.10.4 nest-asyncio 1.6.0
networkx 3.4.2 ninja 1.11.1.1 nltk 3.9.1
nodeenv 1.9.1 notebook 7.3.2 notebook_shim 0.2.3
numba 0.61.0 numpy 2.1.3 nvidia-ml-py 12.570.86
oauthlib 3.2.0 oci 2.150.2 openai 1.40.2
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.32.1
opentelemetry-sdk 1.32.1 opentelemetry-semantic-conventions 0.53b1 opt_einsum 3.4.0
optree 0.15.0 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.10.16 overrides 7.4.0 packaging 24.1
pandas 2.2.3 pandocfilters 1.5.0 paramiko 3.4.0
parso 0.8.4 pathspec 0.10.3 patsy 1.0.1
pexpect 4.8.0 phik 0.12.4 pillow 11.1.0
pip 25.0 platformdirs 3.10.0 plotly 5.24.1
pluggy 1.5.0 pmdarima 2.0.4 pooch 1.8.2
preshed 3.0.9 prometheus_client 0.21.0 prompt-toolkit 3.0.43
propcache 0.2.0 prophet 1.1.6 proto-plus 1.26.1
protobuf 5.29.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 puremagic 1.28
py-cpuinfo 9.0.0 py-spy 0.4.0 pyarrow 19.0.1
pyarrow-hotfix 0.6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 pyccolo 0.0.71 pycparser 2.21
pydantic 2.10.6 pydantic_core 2.27.2 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 pyiceberg 0.9.0
PyJWT 2.10.1 PyNaCl 1.5.0 pyodbc 5.2.0
pyOpenSSL 24.2.1 pyparsing 3.2.0 pyright 1.1.394
pytesseract 0.3.10 pytest 8.3.5 python-dateutil 2.9.0.post0
python-editor 1.0.4 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.0 python-snappy 0.7.3 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.8.0
PyYAML 6.0.2 pyzmq 26.2.0 questionary 2.1.0
ray 2.37.0 referencing 0.30.2 regex 2024.11.6
requests 2.32.3 requests-oauthlib 1.3.1 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 13.9.4
rope 1.12.0 rpds-py 0.22.3 rsa 4.9.1
ruamel.yaml 0.18.10 ruamel.yaml.clib 0.2.12 s3transfer 0.11.3
safetensors 0.5.3 scikit-image 0.25.0 scikit-learn 1.6.1
scipy 1.15.1 seaborn 0.13.2 Send2Trash 1.8.2
sentence-transformers 3.0.1 sentencepiece 0.2.0 setuptools 74.0.0
shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
six 1.16.0 sklearn-compat 0.1.3 slicer 0.0.8
smart-open 7.1.0 smmap 5.0.0 sniffio 1.3.0
sortedcontainers 2.4.0 soundfile 0.12.1 soupsieve 2.5
soxr 0.5.0.post1 spacy 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.37 sqlparse 0.4.2
srsly 2.5.1 ssh-import-id 5.11 stack-data 0.2.0
stanio 0.5.1 starlette 0.46.2 statsmodels 0.14.4
strictyaml 1.7.3 sympy 1.13.3 tabulate 0.9.0
tenacity 9.0.0 tensorboard 2.19.0 tensorboard-data-server 0.7.2
tensorboardX 2.6.2.2 tensorflow 2.19.0 tensorflow-estimator 2.15.0
termcolor 3.0.1 terminado 0.17.1 textual 3.1.1
tf_keras 2.19.0 thinc 8.2.4 threadpoolctl 3.5.0
tifffile 2024年12月12日 tiktoken 0.7.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tokenizers 0.21.1 tomli 2.0.1
torch 2.4.0+cpu torch-optimizer 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 torchvision 0.19.0+cpu tornado 6.4.2
tqdm 4.67.1 traitlets 5.14.3 transformers 4.49.0
typeguard 4.4.2 typer 0.15.2 types-python-dateutil 2.9.0.20241206
typing_extensions 4.12.2 tzdata 2024.1 uc-micro-py 1.0.1
ujson 5.10.0 unattended-upgrades 0.1 uri-template 1.3.0
urllib3 2.3.0 uvicorn 0.34.2 validators 0.34.0
virtualenv 20.29.3 visions 0.8.1 wadllib 1.3.6
wasabi 1.1.3 wcwidth 0.2.5 weasel 0.4.1
webcolors 24.11.1 webencodings 0.5.1 websocket-client 1.8.0
websockets 11.0.3 Werkzeug 3.1.3 whatthepatch 1.0.2
wheel 0.45.1 widgetsnbextension 3.6.6 wordcloud 1.9.4
wrapt 1.17.0 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.5.0 yapf 0.33.0 yarl 1.18.0
ydata-profiling 4.16.1 zipp 3.21.0 zstd 1.5.5.1

R 软件库

R 库与 Databricks Runtime 17.0 中的 R 库 相同。

Java和 Scala 库(Scala 2.12 群集)

除了 Databricks Runtime 17.0 中的Java库和 Scala 库,Databricks Runtime 17.0 ML 还包含以下 JAR:

CPU 群集

群组标识符 工件编号 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU 群集

群组标识符 工件编号 版本
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0