用于推理的预生成 Docker 映像

通过 Azure 机器学习部署模型时,将使用用于推理的预生成 Docker 容器映像。 这些映像是使用流行的机器学习框架和 Python 包预生成的。 你还可以使用以下方法之一扩展包,以添加其他包:

为何要使用预生成的映像?

  • 降低模型部署延迟。
  • 提高模型部署成功率。
  • 避免�在模型部署期间进行不必要的映像生成。
  • 只需在映像/容器中拥有�所需的依赖关系和访问权限。�

用于推理的预生成 Docker 映像列表

重要

下面提供的列表仅包括 Azure 机器学习当前支持的推理 docker 映像。

  • 所有 docker 映像都以非根用户身份运行。
  • 我们建议对 docker 映像使用 latest 标记。 用于推理的预生成 docker 映像会发布到 Microsoft 容器注册表 (MCR)。若要查询可用标记的列表,请按照其 GitHub 存储库的说明进行操作。
  • 如果要对任何推理 docker 映像使用特定标记,我们支持从 latest 到比 latest 大 6 个月 的标记。

推理最小基映像

框架版本 CPU/GPU 预安装的包 MCR 路径
NA CPU NA mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cpu-inference:latest
NA GPU NA mcr.microsoft.com/azureml/minimal-ubuntu20.04-py38-cuda11.6.2-gpu-inference:latest
NA CPU NA mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cpu-inference:latest
NA GPU NA mcr.microsoft.com/azureml/minimal-ubuntu22.04-py39-cuda11.8-gpu-inference:latest

如何使用推理预生成的 docker 映像?

查看 Azure 机器学习 GitHub 存储库中的示例

后续步骤