概念:Azure Databricks上的数据科学和机器学习

数据科学和机器学习(DS 和 ML)从数据中提取见解并生成预测模型。 DS 和 ML 包括交互式探索和建模和自动化生产系统。 经典 ML 包括分类、回归、异常情况检测、预测和建议等技术。

现代深度学习和生成 AI(GenAI)方法在技术上是 ML 的类型。 本部分介绍深度学习。

ML 生命周期

ML 生命周期涵盖了从原始数据到投入生产的模型的端到端全过程,并通过监控和重新训练回到起点。 关键阶段包括:

  1. 通过定义预测目标、成功指标和生产要求来限定用例的范围。
  2. 在建模之前,运行探索性数据分析(EDA),了解数据分布、预测信号和数据质量问题。
  3. 准备数据和特征,并在特征存储中进行管理。
  4. 训练模型和跟踪试验,记录用于分析和部署的试验元数据。
  5. 根据保留的数据和利益干系人标准评估模型质量。
  6. 在部署到生产环境之前,对模型进行注册、暂存和测试
  7. 部署到生产,用于实时端点或批处理推理作业。
  8. 监视和重新训练 以调整模型以更改数据或用户行为。

有关每个阶段的指南,请参阅 机器学习生命周期

什么是 ML 平台?

ML 平台是支持完整 ML 生命周期(从原始数据到生产模型)的组合基础结构、工具和治理层。 设计良好的 ML 平台将数据工程、交互式数据科学和生产 ML 连接到单个受治理系统中。

关键组件包括:

  • 数据资产,如文件、表、处理管道和功能存储
  • 具有简单协作和 AI 帮助的试验工具,例如笔记本和可视化效果
  • 使用可自定义环境和灵活的计算资源训练基础结构
  • 用于批处理和实时服务的部署与监控基础设施,并配备生产仪表板和告警
  • 用于编排、CI/CD、数据沿袭、访问管理和审计日志记录的 MLOps 和治理工具

关键治理功能包括:

另请参阅 Azure Databricks 数据科学和 ML 功能Azure Databricks 体系结构

Learn more