通过

数据引入和规范化

  • 项目

本文可帮助你了解 FinOps 框架中的数据引入和规范化功能，以及如何在 Microsoft Cloud 中实现该功能。

定义

数据引入和规范化是指从各种源收集数据、进行转换并将其组织到单个易于访问的存储库的过程。

从云提供商、供应商和本地系统收集成本、利用率、性能和其他业务数据。 收集的数据可能包括：

  • 内部 IT 数据。 例如，来自配置管理数据库 (CMDB) 或 IT 资产管理 (ITAM) 系统的数据。
  • 特定于业务的数据，例如将云成本映射到业务价值或量化业务价值的组织层次结构和指标。 例如，组织和部门任务报表中定义的收入。

考虑如何报告数据并规划数据标准化要求，以支持对来自多个源的类似数据（例如来自多个云或帐户类型的成本数据）进行报告。 首选开放标准以及跨提供商、供应商和内部工具的互操作性。 它可能还需要通过对数据进行分类或标记来以符合逻辑且有意义的方式重新构建数据，以便能够轻松访问、分析和理解这些数据。

当拥有与业务价值相关的成本和使用情况信息的全面集合时，组织可以为利益干系人提供支持，并加速实现其他 FinOps 功能的目标。 利益干系人能够做出更明智的决策，从而更有效地使用资源，并有可能显著节省成本。

开始之前

虽然数据引入和规范化对于任何 FinOps 实践的长期效率和有效性都至关重要，但对于初始的一组 FinOps 投资来说，它并不是一个不可跳过的硬性要求。 如果这是你在 FinOps 生命周期中的第一次迭代，请考虑可以更快提供投资回报的轻量级功能，例如数据分析和显示。 数据引入和规范化工作可能需要大量的时间和精力，具体取决于帐户大小和复杂性。 我们建议在对关键利益干系人为支持该工作所做的工作和承诺有适当的了解后，专注于此过程。

入门

刚开始管理云中的成本时，可以使用门户中或通过 Power BI 提供的原生工具。 如果需要更多信息，可以下载数据进行本地分析，或者生成小型报表或将其与其他数据集合并。 最终，你需要自动执行此过程，这便是“数据引入”的作用所在。 首先，我们将专注于将成本数据引入通用数据存储。

  • 在引入成本数据之前，请考虑报告需求。
    • 与利益干系人交谈，以确保你对他们的需求有明确的了解。 尝试了解他们的动机和目标，以确保数据或报告对他们有所帮助。
    • 确定所需的数据、可从何处获取数据以及可为你授予访问权限的人员。 记下可能需要规范化的任何常见数据集。
    • 确定所需的粒度水平以及需要的数据刷新频率。 管理大型帐户的日常成本数据可能是一项挑战。 考虑每月汇总，以降低成本并提高查询性能和可靠性（如果这符合你的报告需求）。
  • 考虑使用第三方 FinOps 平台。
    • 查看 Azure 市场中提供的第三方解决方案。
    • 如果你决定构建自己的解决方案，请考虑从 FinOps 中心开始，这是 Microsoft 提供的开源 FinOps 工具包的一部分。
      • FinOps 中心将加速开发，并帮助你专注于构建所需的功能，而不是基础结构。
  • 选择适合你的成本详细信息解决方案。 我们建议定期导出，即每天或每月将成本数据推送到存储帐户。
    • 如果使用每日导出，需要注意的是数据每天都会被推送到一个新文件中。 在报告成本时，请确保只选择最近一天。
  • 确定是否需要数据集成或工作流技术，以便对数据进行处理。
    • 在早期阶段，可以将数据保留在导出的存储帐户中，而无需进行其他处理。 对于具有轻量级需求和较少定制的小型帐户，我们建议将数据保存在那里。
    • 如果需要将数据引入更高级的数据存储或执行数据清理或规范化，你可能需要实现数据管道。 选择数据管道编排技术。
  • 确定数据存储要求。
    • 在早期阶段，我们建议使用导出的存储帐户，以简化操作并降低成本。
    • 如果需要高级查询引擎，或者预期会达到报告工具中的数据大小限制，则应考虑将数据引入分析数据存储。 选择分析数据存储。

进阶拓展

此时，你有一个数据管道，并且会将数据引入中央数据存储库。 在进行基础操作之外的探索时，请考虑以下几点：

  • 将数据规范化为标准架构，以支持对齐和混合来自多个源的数据。
    • FinOps 中心包括一个 Power BI 报表，该报表将数据规范化为 FOCUS 架构，这可以是一个很好的起点。
    • 有关使用 Azure 数据的 FOCUS 架构的示例，请参阅 FOCUS 示例报表。
  • 使用组织层次结构和预算补充云成本数据。
    • 考虑为需求加标签或标记，以将云成本映射到组织层次结构。
  • 使用内部 CMDB 或 ITAM 数据扩充云资源和解决方案数据。
  • 考虑将云成本映射到业务价值所需的内部业务和收入指标。
  • 根据报表需求确定需要哪些其他数据集：

后续步骤