数据科学和机器学习(DS 和 ML)从数据中提取见解并生成预测模型。 DS 和 ML 包括交互式探索和建模和自动化生产系统。 经典 ML 包括分类、回归、异常情况检测、预测和建议等技术。
现代深度学习和生成 AI(GenAI)方法在技术上是 ML 的类型。 本部分介绍深度学习。
ML 生命周期
ML 生命周期涵盖了从原始数据到投入生产的模型的端到端全过程,并通过监控和重新训练回到起点。 关键阶段包括:
- 通过定义预测目标、成功指标和生产要求来限定用例的范围。
- 在建模之前,运行探索性数据分析(EDA),了解数据分布、预测信号和数据质量问题。
- 准备数据和特征,并在特征存储中进行管理。
- 训练模型和跟踪试验,记录用于分析和部署的试验元数据。
- 根据保留的数据和利益干系人标准评估模型质量。
- 在部署到生产环境之前,对模型进行注册、暂存和测试。
- 部署到生产,用于实时端点或批处理推理作业。
- 监视和重新训练 以调整模型以更改数据或用户行为。
有关每个阶段的指南,请参阅 机器学习生命周期 。
什么是 ML 平台?
ML 平台是支持完整 ML 生命周期(从原始数据到生产模型)的组合基础结构、工具和治理层。 设计良好的 ML 平台将数据工程、交互式数据科学和生产 ML 连接到单个受治理系统中。
关键组件包括:
- 数据资产,如文件、表、处理管道和功能存储
- 具有简单协作和 AI 帮助的试验工具,例如笔记本和可视化效果
- 使用可自定义环境和灵活的计算资源训练基础结构
- 用于批处理和实时服务的部署与监控基础设施,并配备生产仪表板和告警
- 用于编排、CI/CD、数据沿袭、访问管理和审计日志记录的 MLOps 和治理工具
关键治理功能包括:
统一治理数据和 ML 资产。 有关详细信息,请查看什么是 Unity 目录?
统一的安全方法。 在 Databricks AI 安全性中了解详细信息。
统一管理数据和 ML 工具。 在 管理中了解详细信息。
另请参阅 Azure Databricks 数据科学和 ML 功能和 Azure Databricks 体系结构。
Learn more
- 机器学习生命周期 - ML 生命周期阶段和最佳做法
- Azure Databricks 数据科学和机器学习功能 - 按工作流阶段划分的 Azure Databricks 机器学习功能
- Databricks 上的 AI - 用例、客户和其他资源