用于推理的预生成 Docker 映像
通过 Azure 机器学习部署模型时,将使用用于推理的预生成 Docker 容器映像。 这些映像是使用流行的机器学习框架和 Python 包预生成的。 你还可以使用以下方法之一扩展包,以添加其他包:
为何要使用预生成的映像?
- 降低模型部署延迟。
- 提高模型部署成功率。
- 避免�在模型部署期间进行不必要的映像生成。
- 只需在映像/容器中拥有�所需的依赖关系和访问权限。�
用于推理的预生成 Docker 映像列表
重要
下面提供的列表仅包括 Azure 机器学习当前支持的推理 docker 映像。
- 所有 docker 映像都以非根用户身份运行。
- 我们建议对 docker 映像使用
latest
标记。 用于推理的预生成 docker 映像会发布到 Microsoft 容器注册表 (MCR)。若要查询可用标记的列表,请按照其 GitHub 存储库的说明进行操作。 - 如果要对任何推理 docker 映像使用特定标记,我们支持从
latest
到比latest
大 6 个月 的标记。
推理最小基映像
框架版本 | CPU/GPU | 预安装的包 | MCR 路径 |
---|---|---|---|
NA | CPU | NA | mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cpu-inference:latest |
NA | GPU | NA | mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cuda11.6.2-gpu-inference:latest |
NA | CPU | NA | mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cpu-inference:latest |
NA | GPU | NA | mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cuda11.8-gpu-inference:latest |