数据湖屋的卓越运营

卓越运营支柱的体系结构原则涵盖了保持湖屋运行的所有运营流程。 卓越运营解决了能否高效运营湖屋的问题，并讨论了如何运营、管理和监视湖屋以实现商业价值。

卓越运营原则

1. 优化生成和发布过程

   在整个湖屋环境中使用软件工程最佳做法。 使用 DevOps 和 MLOps 的持续集成和持续交付管道进行生成和发布。

2. 将部署和工作负载自动化

   将湖屋的部署和工作负载自动化有助于标准化这些流程、消除人为错误、提高生产力并提供更高的可重复性。 这包括使用“配置即代码”来避免配置偏差，使用“基础结构即代码”来自动预配所有必需的湖屋和云服务。

   具体而言，对于 ML，流程应推动自动化：并非流程的每个步骤都可以实现或应该实现自动化。 业务问题仍然由人来决定，一些模型在部署前总是需要人工监督。 因此，开发过程是首要的，过程中的每个模块都应该根据需要进行自动化。 这允许增量生成自动化和自定义。

3. 设置监视、警报和日志记录

   湖屋中的工作负载通常集成 Databricks 平台服务和外部云服务来实现特定目标，例如将其用作数据源或目标。 仅当执行链中的每个服务都正常运行时，才能成功执行。 如果不是这种情况，则必须设置监视、警报和日志记录来检测和跟踪问题以及了解系统行为。

4. 管理容量和配额

   对于在云中启动的任何服务，必须考虑到各种限制，例如访问速率限制、实例数、用户数和内存要求。 在设计解决方案之前，必须了解这些限制。

下一步：卓越运营最佳做法

请参阅卓越运营最佳做法。