Databricks Runtime 17.3 LTS 为机器学习提供了一个基于Databricks Runtime 17.3 LTS的现成环境,适用于机器学习和数据科学。 Databricks Runtime ML 包含许多常用的机器学习库,包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包括 AutoML 工具,可用于自动训练机器学习管道。 Databricks Runtime ML 还支持使用 TorchDistributor、DeepSpeed 和 Ray 进行分布式深度学习训练。
新功能和改进
Databricks Runtime 17.3 LTS ML 基于 Databricks Runtime 17.3 LTS 构建。 有关 Databricks Runtime 17.3 LTS(包括 Apache Spark MLlib 和 SparkR)中的新增功能的信息,请参阅 Databricks Runtime 17.3 LTS 发行说明。
系统环境
Databricks Runtime 17.3 LTS ML 中的系统环境不同于 Databricks Runtime 17.3 LTS,如下所示。
- 对于 GPU 群集,Databricks Runtime ML 包含以下 NVIDIA GPU 库:
- CUDA 12.6
- cublas 12.6.4.1-1
- cusolver 11.7.1.2-1
- cupti 12.6.80-1
- cusparse 12.5.4.2-1
- cuDNN 9.5.1.17-1
- NCCL 2.26.2
- TensorRT 10.2.0.19-1
图书馆
以下部分列出了 Databricks Runtime 17.3 LTS ML 中包含的库,这些库不同于 Databricks Runtime 17.3 LTS 中包含的库。
本节内容:
顶级图书馆
Databricks Runtime 17.3 LTS ML 包含以下顶级 库:
- 数据集
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- 流媒体
- TensorFlow
- TensorBoard
- 转换器
Python 库
Databricks Runtime 17.3 LTS ML 用于 virtualenv Python 包管理,并包括许多常用的 ML 包。
若要在本地 Python 虚拟环境中重现 Databricks Runtime ML Python 环境,请下载 CPU 群集 requirements-cpu-17.3lts.txt 或 GPU 群集 requirements-gpu-17.3lts.txt 。 然后运行 pip install -r requirements-<cpu|gpu>-17.3lts.txt。 此命令安装 Databricks Runtime ML 使用的所有开源库,但不安装 Databricks 开发的库,例如 databricks-automl。
CPU 群集上的 Python 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 1.5.2 | aiohappyeyeballs | 2.4.4 |
| aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 |
| alembic | 1.16.5 | annotated-types | 0.7.0 | anyio | 4.6.2 |
| argcomplete | 3.6.2 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| 箭头 | 1.3.0 | 阿斯托尔 | 0.8.1 | asttokens | 2.0.5 |
| astunparse | 1.6.3 | async-lru | 2.0.4 | 属性 | 24.3.0 |
| audioread | 3.0.1 | 自动命令 | 2.2.2 | azure-common | 1.1.28 |
| azure-core | 1.35.1 | azure-cosmos | 4.3.1 | Azure 身份识别 | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.23.0 |
| azure-storage-file-datalake | 12.17.0 | 巴别塔 | 2.16.0 | backoff | 2.2.1 |
| backports.tarfile | 1.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 |
| 黑色 | 24.10.0 | 漂白剂 | 6.2.0 | 闪烁器 | 1.7.0 |
| 布利斯 | 0.7.11 | boto3 | 1.36.2 | botocore | 1.36.3 |
| Brotli | 1.1.0 | cachetools (缓存工具) | 5.5.1 | catalogue | 2.0.10 |
| 类别编码器 | 2.6.3 | certifi | 2025年1月31日 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer (字符集正常化工具) | 3.3.2 | 断路器 | 2.1.3 |
| click | 8.1.7 | cloudpathlib | 0.22.0 | cloudpickle | 3.0.0 |
| cmdstanpy | 1.2.5 | colorful | 0.5.7 | colorlog | 6.9.0 |
| 通讯 | 0.2.1 | 糖果 | 0.1.5 | configparser | 5.2.0 |
| contourpy | 1.3.1 | coolname | 2.2.0 | cramjam | 2.11.0 |
| 加密 | 43.0.3 | 骑行者 | 0.11.0 | cymem | 2.0.11 |
| Cython | 3.0.12 | 英安岩 | 1.9.2 | databricks-automl-runtime | 0.2.21 |
| databricks-feature-engineering | 0.12.1 | Databricks软件开发工具包 (databricks-sdk) | 0.49.0 | 数据集 | 3.5.0 |
| dbl-tempo | 0.1.26 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| 修饰器 | 5.1.1 | DeepSpeed | 0.16.5 | defusedxml | 0.7.1 |
| 莳萝 | 0.3.8 | distlib | 0.3.9 | dm-tree | 0.1.9 |
| docstring-to-markdown | 0.11 | einops | 0.8.1 | 入口点 | 0.4 |
| 评价 | 0.4.3 | 正在执行 | 0.8.3 | 各个方面概述 | 1.1.1 |
| Farama-通知 | 0.0.4 | fastapi | 0.117.1 | fastjsonschema | 2.21.2 |
| fasttext-wheel | 0.9.2 | 文件锁 (filelock) | 3.13.1 | Flask | 2.2.5 |
| FlatBuffers | 25.2.10 | fonttools(字体工具) | 4.55.3 | fqdn | 1.5.1 |
| frozenlist | 1.5.0 | fsspec | 2023.5.0 | 未来 | 0.18.3 |
| 加斯特 | 0.4.0 | gitdb (Git数据库) | 4.0.11 | GitPython | 3.1.43 |
| google-api-core (谷歌 API 核心库) | 2.20.0 | google-auth (谷歌身份验证) | 2.40.3 | google-cloud-core (Google云核心) | 2.4.3 |
| 谷歌云存储 (Google Cloud Storage) | 2.10.0 | google-crc32c | 1.7.1 | google-pasta | 0.2.0 |
| google-resumable-media (谷歌可恢复媒体) | 2.7.2 | googleapis-common-protos | 1.65.0 | gql | 4.0.0 |
| graphql-core | 3.2.4 | greenlet | 3.1.1 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | gunicorn | 20.1.0 | 体育馆 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.12.1 | hjson | 3.1.0 |
| 假期 | 0.54 | htmlmin | 0.1.12 | httpcore | 1.0.2 |
| httplib2 | 0.20.4 | httpx | 0.27.0 | huggingface-hub | 0.30.2 |
| IDNA | 3.7 | ImageHash | 4.3.1 | ImageIO | 2.37.0 |
| imbalanced-learn | 0.13.0 | importlib-metadata | 6.6.0 | importlib_resources | 6.5.2 |
| inflect | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils(IPython通用工具) | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.6.1 | isoduration | 20.11.0 |
| 它很危险 | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | jedi | 0.19.2 |
| Jinja2 | 3.1.5 | jiter | 0.11.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.6.0 | json5 | 0.9.25 |
| JSON补丁 | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.23.0 |
| JSON模式规范 | 2023年7月1日 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client(Jupyter 客户端) | 8.6.3 | jupyter_core(Jupyter核心) | 5.7.2 | Jupyter服务器 | 2.14.1 |
| Jupyter服务器终端 | 0.4.4 | jupyterlab | 4.3.4 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | jupyterlab_server (JupyterLab 服务器) | 2.27.3 | keras | 3.5.0 |
| kiwisolver | 1.4.8 | langchain | 0.3.21 | langchain-core | 0.3.63 |
| langchain-text-splitters | 0.3.8 | 语言代码 | 3.5.0 | langsmith | 0.1.133 |
| 语言数据 | 1.3.0 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | lazy_loader | 0.4 | libclang | 15.0.6.1 |
| librosa | 0.11.0 | lightgbm | 4.6.0 | lightning-utilities | 0.15.2 |
| linkify-it-py | 2.0.0 | llvmlite | 0.44.0 | lz4 | 4.3.2 |
| Mako | 1.2.0 | marisa-trie | 1.2.0 | Markdown | 3.4.1 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | 麦卡贝 | 0.7.0 | mdit-py-plugins | 0.3.0 |
| mdurl | 0.1.0 | memray | 1.18.0 | mistune | 2.0.4 |
| ml_dtypes | 0.5.3 | mlflow-skinny | 3.0.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.12.0 |
| mpmath | 1.3.0 | MSAL | 1.34.0 | msal-extensions | 1.3.1 |
| msgpack | 1.1.1 | multidict | 6.1.0 | 多方法 | 1.12 |
| 多进程 | 0.70.16 | murmurhash | 1.0.13 | mypy-extensions | 1.0.0 |
| namex | 0.1.0 | nbclient | 0.8.0 | nbconvert | 7.16.4 |
| nbformat | 5.10.4 | nest-asyncio | 1.6.0 | NetworkX | 3.4.2 |
| 忍者 | 1.11.1.4 | nltk | 3.9.1 | nodeenv | 1.9.1 |
| 笔记本 | 7.3.2 | notebook_shim | 0.2.3 | numba | 0.61.0 |
| numpy | 2.1.3 | nvidia-nccl-cu12 | 2.28.3 | oauthlib | 3.2.0 |
| oci | 2.160.2 | openai | 1.69.0 | opencensus | 0.11.4 |
| opencensus-context | 0.1.3 | OpenTelemetry API | 1.37.0 | opentelemetry-sdk(开源遥测软件开发工具包) | 1.37.0 |
| opentelemetry-semantic-conventions | 0.58b0 | opt_einsum | 3.4.0 | optree | 0.17.0 |
| optuna | 3.6.1 | optuna-integration | 3.6.0 | orjson | 3.11.3 |
| overrides | 7.4.0 | 包装 | 24.2 | 熊猫 | 2.2.3 |
| pandocfilters | 1.5.0 | paramiko | 3.4.0 | 帕尔索 | 0.8.4 |
| pathspec | 0.10.3 | 替罪羊 | 1.0.1 | pexpect | 4.8.0 |
| Φ系数 | 0.12.5 | 枕头 | 11.1.0 | pip | 25.0.1 |
| platformdirs | 3.10.0 | plotly | 5.24.1 | Pluggy (Python库) | 1.5.0 |
| pmdarima | 2.0.4 | 狗狗 | 1.8.2 | preshed | 3.0.10 |
| prometheus_client | 0.21.0 | 提示工具包 (prompt-toolkit) | 3.0.43 | propcache | 0.2.0 |
| 先知 | 1.1.6 | proto-plus | 1.26.1 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | puremagic | 1.30 | py-cpuinfo (Python CPU信息) | 9.0.0 |
| py-spy | 0.4.1 | pyarrow | 19.0.1 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 3.0.1 | pyccolo | 0.0.71 |
| Python代码解析器 | 2.21 | pydantic (Python 数据验证库) | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes | 3.2.0 | Pygments | 2.15.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.9.0 | PyJWT | 2.10.1 | PyNaCl | 1.5.0 |
| pyodbc | 5.2.0 | pyOpenSSL | 24.2.1 | pyparsing | 3.2.0 |
| pyright | 1.1.394 | pytesseract | 0.3.10 | pytest(Python 测试框架) | 8.3.5 |
| python-dateutil | 2.9.0.post0 | Python代码编辑器 | 1.0.4 | python-json-logger | 3.2.1 |
| python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.0 | python-snappy | 0.7.3 |
| pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 | pytz | 2024.1 |
| PyWavelets | 1.8.0 | PyYAML | 6.0.2 | pyzmq | 26.2.0 |
| 问卷 | 2.1.1 | 射线 | 2.37.0 | referencing | 0.30.2 |
| regex | 2024.11.6 | requests | 2.32.3 | requests-oauthlib | 1.3.1 |
| requests-toolbelt | 1.0.0 | rfc3339-validator | 0.1.4 | rfc3986验证器 | 0.1.1 |
| rich | 13.9.4 | 绳子 | 1.12.0 | rpds-py | 0.22.3 |
| rsa | 4.9.1 | ruamel.yaml | 0.18.15 | ruamel.yaml.clib | 0.2.14 |
| s3transfer | 0.11.3 | safetensors | 0.6.2 | scikit-image | 0.25.0 |
| scikit-learn | 1.6.1 | scipy | 1.15.1 | seaborn | 0.13.2 |
| Send2Trash | 1.8.2 | sentence-transformers (句子转换器) | 4.0.1 | sentencepiece | 0.2.0 |
| setuptools | 74.0.0 | 沙普 | 0.47.1 | 谢灵汉姆 | 1.5.4 |
| simplejson | 3.17.6 | 6 | 1.16.0 | sklearn-compat | 0.1.3 |
| 切片器 | 0.0.8 | smart_open | 7.3.1 | smmap | 5.0.0 |
| sniffio | 1.3.0 | 排序容器 | 2.4.0 | 音频文件 | 0.13.1 |
| soupsieve | 2.5 | soxr | 1.0.0 | spacy | 3.7.5 |
| spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 | SQLAlchemy | 2.0.37 |
| sqlparse | 0.4.2 | srsly | 2.5.1 | ssh-import-id | 5.11 |
| 堆栈数据 | 0.2.0 | 斯塔尼奥 | 0.5.1 | starlette | 0.48.0 |
| statsmodels | 0.14.4 | strictyaml | 1.7.3 | sympy | 1.13.3 |
| 制表 | 0.9.0 | 毅力 | 9.0.0 | tensorboard | 2.19.0 |
| TensorBoard数据服务器 | 0.7.2 | tensorboardX | 2.6.4 | TensorFlow | 2.19.0 |
| tensorflow-estimator | 2.15.0 | termcolor | 3.1.0 | terminado | 0.17.1 |
| textual | 4.0.0 | tf_keras | 2.19.0 | thinc | 8.2.4 |
| threadpoolctl | 3.5.0 | tifffile | 2024年12月12日 | tiktoken | 0.9.0 |
| tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 | 分词器 | 0.21.0 |
| tomli | 2.0.1 | 火炬 | 2.7.0+cpu | torch-optimizer | 0.3.0 |
| torcheval | 0.0.7 | torchmetrics | 1.6.0 | torchvision | 0.22.0+cpu |
| 龙卷风 | 6.4.2 | tqdm | 4.67.1 | Traitlets | 5.14.3 |
| 变压器 | 4.51.3 | typeguard | 4.4.2 | 打字员 | 0.19.2 |
| types-python-dateutil | 2.9.0.20250822 | 输入扩展 (typing_extensions) | 4.12.2 | tzdata | 2024.1 |
| uc-micro-py | 1.0.1 | ujson | 5.10.0 | unattended-upgrades | 0.1 |
| URI 模板 | 1.3.0 | urllib3 | 2.3.0 | uvicorn | 0.37.0 |
| 验证者 | 0.35.0 | virtualenv | 20.29.3 | visions | 0.8.1 |
| wadllib | 1.3.6 | 山葵 | 1.1.3 | wcwidth | 0.2.5 |
| weasel | 0.4.1 | webcolors | 24.11.1 | Web编码 | 0.5.1 |
| WebSocket客户端 | 1.8.0 | websockets | 15.0.1 | Werkzeug | 3.1.3 |
| whatthepatch | 1.0.2 | wheel | 0.45.1 | widgetsnbextension | 3.6.6 |
| wordcloud | 1.9.4 | 裹住 | 1.17.0 | xgboost | 3.0.0 |
| xgboost-ray | 0.1.19 | xxhash | 3.5.0 | yapf | 0.40.2 |
| yarl | 1.18.0 | ydata-profiling | 4.16.1 | 齐普 | 3.21.0 |
| zstd | 1.5.5.1 |
GPU 群集上的 Python 库
注释
PyTorch 使用 CUDA PyPI 依赖库来提供 CUDA 支持,而不是使用 Databricks Runtime 17.3 LTS ML 中内置的 CUDA 库版本。
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | accelerate | 1.5.2 | aiohappyeyeballs | 2.4.4 |
| aiohttp | 3.11.10 | aiohttp-cors | 0.8.1 | aiosignal | 1.2.0 |
| annotated-types | 0.7.0 | anyio | 4.6.2 | argcomplete | 3.6.2 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 箭头 | 1.3.0 |
| 阿斯托尔 | 0.8.1 | asttokens | 2.0.5 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | 属性 | 24.3.0 | audioread | 3.0.1 |
| 自动命令 | 2.2.2 | azure-common | 1.1.28 | azure-core | 1.35.1 |
| azure-cosmos | 4.3.1 | Azure 身份识别 | 1.20.0 | azure-mgmt-core | 1.6.0 |
| azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.23.0 | azure-storage-file-datalake | 12.17.0 |
| 巴别塔 | 2.16.0 | backoff | 2.2.1 | backports.tarfile | 1.2.0 |
| bcrypt | 3.2.0 | beautifulsoup4 | 4.12.3 | 黑色 | 24.10.0 |
| 漂白剂 | 6.2.0 | 闪烁器 | 1.7.0 | 布利斯 | 0.7.11 |
| boto3 | 1.36.2 | botocore | 1.36.3 | Brotli | 1.1.0 |
| cachetools (缓存工具) | 5.5.1 | catalogue | 2.0.10 | 类别编码器 | 2.6.3 |
| certifi | 2025年1月31日 | cffi | 1.17.1 | chardet | 4.0.0 |
| charset-normalizer (字符集正常化工具) | 3.3.2 | 断路器 | 2.1.3 | click | 8.1.7 |
| cloudpathlib | 0.22.0 | cloudpickle | 3.0.0 | cmdstanpy | 1.2.5 |
| colorful | 0.5.7 | colorlog | 6.9.0 | 通讯 | 0.2.1 |
| 糖果 | 0.1.5 | configparser | 5.2.0 | contourpy | 1.3.1 |
| coolname | 2.2.0 | cramjam | 2.11.0 | 加密 | 43.0.3 |
| 骑行者 | 0.11.0 | cymem | 2.0.11 | Cython | 3.0.12 |
| 英安岩 | 1.9.2 | databricks-automl-runtime | 0.2.21 | databricks-feature-engineering | 0.12.1 |
| Databricks软件开发工具包 (databricks-sdk) | 0.49.0 | 数据集 | 3.5.0 | dbl-tempo | 0.1.26 |
| dbus-python | 1.3.2 | debugpy | 1.8.11 | 修饰器 | 5.1.1 |
| DeepSpeed | 0.16.5 | defusedxml | 0.7.1 | 莳萝 | 0.3.8 |
| distlib | 0.3.9 | dm-tree | 0.1.9 | docstring-to-markdown | 0.11 |
| einops | 0.8.1 | 入口点 | 0.4 | 评价 | 0.4.3 |
| 正在执行 | 0.8.3 | 各个方面概述 | 1.1.1 | Farama-通知 | 0.0.4 |
| fastapi | 0.117.1 | fastjsonschema | 2.21.2 | fasttext-wheel | 0.9.2 |
| 文件锁 (filelock) | 3.13.1 | flash_attn | 2.7.4.post1 | Flask | 2.2.5 |
| FlatBuffers | 25.2.10 | fonttools(字体工具) | 4.55.3 | fqdn | 1.5.1 |
| frozenlist | 1.5.0 | fsspec | 2023.5.0 | 未来 | 0.18.3 |
| 加斯特 | 0.4.0 | gitdb (Git数据库) | 4.0.11 | GitPython | 3.1.43 |
| google-api-core (谷歌 API 核心库) | 2.20.0 | google-auth (谷歌身份验证) | 2.40.3 | google-cloud-core (Google云核心) | 2.4.3 |
| 谷歌云存储 (Google Cloud Storage) | 2.10.0 | google-crc32c | 1.7.1 | google-pasta | 0.2.0 |
| google-resumable-media (谷歌可恢复媒体) | 2.7.2 | googleapis-common-protos | 1.65.0 | gql | 4.0.0 |
| graphql-core | 3.2.4 | greenlet | 3.1.1 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | gunicorn | 20.1.0 | 体育馆 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.12.1 | hjson | 3.1.0 |
| 假期 | 0.54 | htmlmin | 0.1.12 | httpcore | 1.0.2 |
| httplib2 | 0.20.4 | httpx | 0.27.0 | huggingface-hub | 0.30.2 |
| IDNA | 3.7 | ImageHash | 4.3.1 | ImageIO | 2.37.0 |
| imbalanced-learn | 0.13.0 | importlib-metadata | 6.6.0 | importlib_resources | 6.5.2 |
| inflect | 7.3.1 | iniconfig | 1.1.1 | ipyflow-core | 0.0.209 |
| ipykernel | 6.29.5 | ipython | 8.30.0 | ipython-genutils(IPython通用工具) | 0.2.0 |
| ipywidgets | 7.8.1 | isodate | 0.6.1 | isoduration | 20.11.0 |
| 它很危险 | 2.2.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
| jaraco.text | 3.12.1 | jax-jumpy | 1.0.0 | jedi | 0.19.2 |
| Jinja2 | 3.1.5 | jiter | 0.11.0 | jmespath | 1.0.1 |
| joblib | 1.4.2 | joblibspark | 0.6.0 | json5 | 0.9.25 |
| JSON补丁 | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.23.0 |
| JSON模式规范 | 2023年7月1日 | jupyter-events | 0.10.0 | jupyter-lsp | 2.2.0 |
| jupyter_client(Jupyter 客户端) | 8.6.3 | jupyter_core(Jupyter核心) | 5.7.2 | Jupyter服务器 | 2.14.1 |
| Jupyter服务器终端 | 0.4.4 | jupyterlab | 4.3.4 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | jupyterlab_server (JupyterLab 服务器) | 2.27.3 | keras | 3.5.0 |
| kiwisolver | 1.4.8 | langchain | 0.3.21 | langchain-core | 0.3.63 |
| langchain-text-splitters | 0.3.8 | 语言代码 | 3.5.0 | langsmith | 0.1.133 |
| 语言数据 | 1.3.0 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
| lazr.uri | 1.0.6 | lazy_loader | 0.4 | libclang | 15.0.6.1 |
| librosa | 0.11.0 | lightgbm | 4.6.0 | lightning-utilities | 0.15.2 |
| linkify-it-py | 2.0.0 | llvmlite | 0.44.0 | lz4 | 4.3.2 |
| Mako | 1.2.0 | marisa-trie | 1.2.0 | Markdown | 3.4.1 |
| markdown-it-py | 2.2.0 | MarkupSafe | 3.0.2 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | 麦卡贝 | 0.7.0 | mdit-py-plugins | 0.3.0 |
| mdurl | 0.1.0 | memray | 1.18.0 | mistune | 2.0.4 |
| ml_dtypes | 0.5.3 | mlflow-skinny | 3.0.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | mosaicml-cli | 0.6.41 | mosaicml-streaming | 0.12.0 |
| mpmath | 1.3.0 | MSAL | 1.34.0 | msal-extensions | 1.3.1 |
| msgpack | 1.1.1 | multidict | 6.1.0 | 多方法 | 1.12 |
| 多进程 | 0.70.16 | murmurhash | 1.0.13 | mypy-extensions | 1.0.0 |
| namex | 0.1.0 | nbclient | 0.8.0 | nbconvert | 7.16.4 |
| nbformat | 5.10.4 | nest-asyncio | 1.6.0 | NetworkX | 3.4.2 |
| 忍者 | 1.11.1.4 | nltk | 3.9.1 | nodeenv | 1.9.1 |
| 笔记本 | 7.3.2 | notebook_shim | 0.2.3 | numba | 0.61.0 |
| numpy | 2.1.3 | nvidia-cublas-cu12 | 12.6.4.1 | nvidia-cuda-cupti-cu12 | 12.6.80 |
| nvidia-cuda-nvrtc-cu12 | 12.6.77 | nvidia-cuda-runtime-cu12 | 12.6.77 | nvidia-cudnn-cu12 | 9.5.1.17 |
| nvidia-cufft-cu12 | 11.3.0.4 | nvidia-cufile-cu12 | 1.11.1.6 | nvidia-curand-cu12 | 10.3.7.77 |
| nvidia-cusolver-cu12 | 11.7.1.2 | nvidia-cusparse-cu12 | 12.5.4.2 | nvidia-cusparselt-cu12 | 0.6.3 |
| nvidia-nccl-cu12 | 2.26.2 | nvidia-nvjitlink-cu12 | 12.6.85 | nvidia-nvtx-cu12 | 12.6.77 |
| oauthlib | 3.2.0 | oci | 2.160.2 | openai | 1.69.0 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | OpenTelemetry API | 1.37.0 |
| opentelemetry-sdk(开源遥测软件开发工具包) | 1.37.0 | opentelemetry-semantic-conventions | 0.58b0 | opt_einsum | 3.4.0 |
| optree | 0.17.0 | optuna | 3.6.1 | optuna-integration | 3.6.0 |
| orjson | 3.11.3 | overrides | 7.4.0 | 包装 | 24.2 |
| 熊猫 | 2.2.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| 帕尔索 | 0.8.4 | pathspec | 0.10.3 | 替罪羊 | 1.0.1 |
| pexpect | 4.8.0 | Φ系数 | 0.12.5 | 枕头 | 11.1.0 |
| pip | 25.0.1 | platformdirs | 3.10.0 | plotly | 5.24.1 |
| Pluggy (Python库) | 1.5.0 | pmdarima | 2.0.4 | 狗狗 | 1.8.2 |
| preshed | 3.0.10 | prometheus_client | 0.21.0 | 提示工具包 (prompt-toolkit) | 3.0.43 |
| propcache | 0.2.0 | 先知 | 1.1.6 | proto-plus | 1.26.1 |
| protobuf | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | puremagic | 1.30 |
| py-cpuinfo (Python CPU信息) | 9.0.0 | py-spy | 0.4.1 | pyarrow | 19.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 3.0.1 |
| pyccolo | 0.0.71 | Python代码解析器 | 2.21 | pydantic (Python 数据验证库) | 2.10.6 |
| pydantic_core | 2.27.2 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
| PyGObject | 3.48.2 | pyiceberg | 0.9.0 | PyJWT | 2.10.1 |
| PyNaCl | 1.5.0 | pyodbc | 5.2.0 | pyOpenSSL | 24.2.1 |
| pyparsing | 3.2.0 | pyright | 1.1.394 | pytesseract | 0.3.10 |
| pytest(Python 测试框架) | 8.3.5 | python-dateutil | 2.9.0.post0 | Python代码编辑器 | 1.0.4 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.0 |
| python-snappy | 0.7.3 | pytoolconfig | 1.2.6 | pytorch-ranger | 0.1.1 |
| pytz | 2024.1 | PyWavelets | 1.8.0 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | 问卷 | 2.1.1 | 射线 | 2.37.0 |
| referencing | 0.30.2 | regex | 2024.11.6 | requests | 2.32.3 |
| requests-oauthlib | 1.3.1 | requests-toolbelt | 1.0.0 | rfc3339-validator | 0.1.4 |
| rfc3986验证器 | 0.1.1 | rich | 13.9.4 | 绳子 | 1.12.0 |
| rpds-py | 0.22.3 | rsa | 4.9.1 | ruamel.yaml | 0.18.15 |
| ruamel.yaml.clib | 0.2.14 | s3transfer | 0.11.3 | safetensors | 0.6.2 |
| scikit-image | 0.25.0 | scikit-learn | 1.6.1 | scipy | 1.15.1 |
| seaborn | 0.13.2 | Send2Trash | 1.8.2 | sentence-transformers (句子转换器) | 4.0.1 |
| sentencepiece | 0.2.0 | setuptools | 74.0.0 | 沙普 | 0.47.1 |
| 谢灵汉姆 | 1.5.4 | simplejson | 3.17.6 | 6 | 1.16.0 |
| sklearn-compat | 0.1.3 | 切片器 | 0.0.8 | smart_open | 7.3.1 |
| smmap | 5.0.0 | sniffio | 1.3.0 | 排序容器 | 2.4.0 |
| 音频文件 | 0.13.1 | soupsieve | 2.5 | soxr | 1.0.0 |
| spacy | 3.7.5 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
| SQLAlchemy | 2.0.37 | sqlparse | 0.4.2 | srsly | 2.5.1 |
| ssh-import-id | 5.11 | 堆栈数据 | 0.2.0 | 斯塔尼奥 | 0.5.1 |
| starlette | 0.48.0 | statsmodels | 0.14.4 | strictyaml | 1.7.3 |
| sympy | 1.13.3 | 制表 | 0.9.0 | 毅力 | 9.0.0 |
| tensorboard | 2.19.0 | TensorBoard数据服务器 | 0.7.2 | tensorboardX | 2.6.4 |
| TensorFlow | 2.19.0 | tensorflow-estimator | 2.15.0 | termcolor | 3.1.0 |
| terminado | 0.17.1 | textual | 4.0.0 | tf_keras | 2.19.0 |
| thinc | 8.2.4 | threadpoolctl | 3.5.0 | tifffile | 2024年12月12日 |
| tiktoken | 0.9.0 | tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 |
| 分词器 | 0.21.0 | tomli | 2.0.1 | 火炬 | 2.7.0 |
| torch-optimizer | 0.3.0 | torcheval | 0.0.7 | torchmetrics | 1.6.0 |
| torchvision | 0.22.0 | 龙卷风 | 6.4.2 | tqdm | 4.67.1 |
| Traitlets | 5.14.3 | 变压器 | 4.51.3 | triton | 3.3.0 |
| typeguard | 4.4.2 | 打字员 | 0.19.2 | types-python-dateutil | 2.9.0.20250822 |
| 输入扩展 (typing_extensions) | 4.12.2 | tzdata | 2024.1 | uc-micro-py | 1.0.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | URI 模板 | 1.3.0 |
| urllib3 | 2.3.0 | uvicorn | 0.37.0 | 验证者 | 0.35.0 |
| virtualenv | 20.29.3 | visions | 0.8.1 | wadllib | 1.3.6 |
| 山葵 | 1.1.3 | wcwidth | 0.2.5 | weasel | 0.4.1 |
| webcolors | 24.11.1 | Web编码 | 0.5.1 | WebSocket客户端 | 1.8.0 |
| websockets | 15.0.1 | Werkzeug | 3.1.3 | whatthepatch | 1.0.2 |
| wheel | 0.45.1 | widgetsnbextension | 3.6.6 | wordcloud | 1.9.4 |
| 裹住 | 1.17.0 | xgboost | 3.0.0 | xgboost-ray | 0.1.19 |
| xxhash | 3.5.0 | yapf | 0.40.2 | yarl | 1.18.0 |
| ydata-profiling | 4.16.1 | 齐普 | 3.21.0 | zstd | 1.5.5.1 |
R 软件库
R 库与 Databricks Runtime 17.3 LTS 中的 R 库 相同。
Java 库和 Scala 库(Scala 2.12 群集)
除了 Databricks Runtime 17.3 LTS 中的 Java 和 Scala 库外,Databricks Runtime 17.3 LTS ML 还包含以下 JAR:
CPU 群集
| 群组标识符 | 工件编号 | 版本 |
|---|---|---|
| ml.dmlc | xgboost4j-spark_2.13 | 2.1.3 |
| ml.dmlc | xgboost4j_2.13 | 2.1.3 |
| org.graphframes | graphframes_2.13 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.13 | 1.15.0 |
GPU 群集
| 群组标识符 | 工件编号 | 版本 |
|---|---|---|
| ml.dmlc | xgboost4j-spark_2.13 | 2.1.3 |
| ml.dmlc | xgboost4j_2.13 | 2.1.3 |
| org.graphframes | graphframes_2.13 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.15.1 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.13 | 1.15.0 |
不支持的版本
小窍门
若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。