本页介绍了将机器学习(ML)项目从初始规划推进到生产环境,并使其长期保持良好性能的端到端流程。 代码、数据和模型通过三个广泛的阶段:开发、过渡和生产。 每个阶段都有不同的目标和要求:
1.限定用例范围并定义成功
在开始构建任何东西之前,先就模型需要做什么以及如何判断它是否正常工作达成一致。
什么是预测目标,什么是 ML 问题类,这意味着:分类、回归、预测、建议、排名、异常情况检测或其他内容?
哪些输入数据可用,并且是否足以了解目标模式?
哪些指标定义成功:准确性、AUC、K 或业务 KPI 的精度?
服务和生产要求是什么:延迟、吞吐量和数据新鲜度?
哪些相关方必须批准生产环境部署? 他们关于可解释性的要求是什么?
上述要求不规定特定的 ML 方法。 可以使用更简单的方法(如渐变提升树)开始建模,然后决定需要更强大的深度学习方法。
2.浏览和了解数据
在准备特征或训练模型之前,请浏览数据以了解其结构、质量和与预测目标的关系。 探索性数据分析(EDA)是对数据集进行汇总和可视化的过程,以揭示分布、相关性、缺失值和离群值等特征,从而为后续建模决策提供依据。
尽早确定如何验证自己拥有未用于训练的有效测试数据。 即使在 EDA 期间,也要小心根据测试数据做出建模决策。
EDA 回答了为生命周期其余阶段提供依据的问题:
哪些输入对目标最具预测作用,其中是否有任何输入在实际服务时不可用?
是否存在需要清理或转换的缺失值、离群值或偏态分布?
数据集是否足够大且具有代表性,足以了解目标模式?
Azure Databricks通过交互式、协作和 AI 辅助工具简化了 EDA。 使用自然语言聊天、UI 或代码浏览数据,并通过实时共同编辑和基于 Git 的代码共享进行协作:
- Genie Code 可以执行完全自动化的 EDA 或充当交互式助手。
3. 准备数据和功能
了解数据后,将 EDA 期间识别的原始源和转换转换为 ML 模型的功能。 评估用于训练和服务的数据管道,包括数据源的速度、量、新鲜度和所有权。 数据工程(准备和转换数据)与特征工程(派生 ML 输入)之间的边界模糊。 在Azure Databricks,数据工程和 ML 在 Unity 目录中共享相同的平台和治理层,因此一个团队准备的数据可以立即作为另一个团队的功能提供,而无需数据移动或重复管道。
搜索现有数据和功能定义:
根据需要创建和管理新资产:
有关数据摄取和数据工程工具的更多信息,请参阅 使用 Databricks 进行数据工程,其中包括提供 AI 辅助无代码体验的 Lakeflow Designer。
使用 功能存储 将功能定义为可重用的受管理资产并对其进行管理。 训练和生产中使用相同的功能定义,支持批量和实时数据引入以及批处理和实时服务。
通过浏览 Unity 目录来发现相关表、建议功能转换以及生成用于引入和功能管道的初学者代码,使用 Genie Code 加速数据发现和准备。
4. 训练模型并跟踪试验
数据科学和 ML 应用程序使用许多不同的方法,每个方法都有自己的 ML 算法和库、计算要求和工作流的要求。 Azure Databricks为不同的工作负荷提供灵活的环境和计算,试验跟踪在 MLflow 下统一。
环境和计算
默认情况下,对交互式笔记本和自动化作业使用 无服务器计算 。 无服务器计算会立即启动,随工作负荷自动纵向扩展和缩减。
对于 GPU 加速,请将 GPU 附加到无服务器计算,然后使用 AI 运行时(预配置用于 GPU 训练和推理的环境)。
对于 CPU 和 GPU 工作负载,还可以将 classic compute 用于 Databricks Runtime for 机器学习。
使用 ML 库自定义上述任何环境。 鉴于用于 ML 应用的环境通常经过高度定制化,可利用 MLflow 跟踪功能记录依赖项、验证可复现性,并避免训练与服务偏差。
MLflow 跟踪
使用 Azure Databricks 托管的 MLflow 跟踪实验并记录模型元数据:
在实验中整理项目日志,并记录用于训练或评估的运行。
在试验期间, 比较 MLflow UI 中的运行 ,以查找性能最佳的配置。
使用 MLflow 记录模型 ,以存储具有完整来源的模型项目:哪个数据集、哪些代码以及哪个环境生成了此模型。 此元数据简化了将模型部署到生产环境,以及审核和故障排除。
建模入门
Genie Code 可以根据对预测任务的自然语言描述生成完整的机器学习笔记本,其中包括从 Feature Store 中进行特征选择、机器学习训练以及 MLflow 跟踪。
另请参阅 有关超参数优化、 模型训练示例和 Databricks 上的 Ray 的资源。
5. 评估
在开发过程中,根据范围的要求定义质量评估指标:
基本指标可能是常见的 ML 指标,例如准确性、AUC、RMSE 或特定于域的指标。
您的评估还可能包括派生指标,例如通过比较数据中不同人群细分的基础指标来衡量不同人群之间的偏差和公平性。
使用所选的 ML 库或框架、 MLflow 的内置指标模块或自定义逻辑定义指标。 对于所有指标,请在 MLflow 运行中记录指标,以将这些指标关联到其对应的模型。 开发和培训期间定义的指标稍后可重复使用为 用于生产监视的指标。
6. 注册、暂存和测试模型
训练 ML 模型或管道后,将其注册到 Unity 目录中的 MLflow 模型注册表 ,以简化治理和管理,将模型提升到生产环境。 已注册的模型具有版本,每个版本都链接到生成它的原始训练运行。 模型版本支持安全的部署工作流:您可以先在预发布环境中测试新版本,再将其推广到生产环境;如果质量下降,可以回滚到先前的版本,并保留一份完整的审计追踪记录,记录部署了什么以及何时部署。
在新的模型版本承载生产流量之前,请先在预发布环境中于真实条件下测试该版本:
针对过渡基础结构运行集成测试:确认服务终结点启动、延迟满足要求,输出格式良好。
基于生产数据进行 A/B 测试或影子测试,以在全面切换前验证性能。
根据评估结果收集利益相关方的签字确认。
此说明过度简化部署做法和 ML 操作(MLOps)。 在 Azure Databricks 上的 MLOps 工作流中详细了解有关 MLOps 的更多信息。
7.部署到生产环境
暂存验证后,将模型提升并部署到生产环境,以生成实际输入的预测。 Azure Databricks支持两种主要服务模式:
- 实时服务:使用模型服务将模型部署为低延迟 REST 终结点,用于需要低延迟决策的用例,例如交易时欺诈拦截、实时个性化或动态定价。
-
批处理推理:
ai_query为部署为模型服务终结点的自定义模型提供高效的批处理推理。 还可以将自定义代码与 Apache Spark UDF(示例)或mlflow.pyfunc结合使用,以进行批量推理。 批处理管道将结果写入 Delta 表,供下游应用程序、仪表板或管道使用。 此模式处理每日预测、夜间建议刷新和其他定期作业。
这两种模式都使用相同的训练好的模型工件。 训练一次,即可从同一个已注册版本部署到批处理或实时服务,并保持相同的治理和沿袭关系。
Genie Code 既可以生成用于部署的代码,还可以帮助排查服务问题、解释终结点行为,以及何时必须更新或重新部署模型时加速迭代。
8. 监视和重新训练
随着用户行为发生变化或数据管道的变化,生产 ML 系统可能会随着时间推移而降级。 持续监视生产数据和模型预测:
- 记录已部署模型的输入和输出。 对于实时服务,推理表提供自动日志记录,而无需更改模型代码。 对于批量服务,您的管道可直接从 Unity Catalog 管理的 Delta 表中读取数据并将数据写入其中。
- 使用监控界面,在质量明显下降之前触发升级处理或重新训练。
在 MLOps 工作流上详细了解 Azure Databricks 的生产 ML。
其他资源
Azure Databricks 数据科学和机器学习功能 - Azure Databricks 在此生命周期各阶段的功能
Azure Databricks 上的 MLOps 工作流 - 生产环境 MLOps 工作流参考
在 Unity 目录中管理模型生命周期 - Unity 目录中的模型版本控制与生命周期管理