构建单一数据源意味着什么?

Databricks Lakehouse 通过将数据访问与存储统一到单一系统中,免去了跨多个系统创建和同步数据副本的需要,从而将 Lakehouse 确立为唯一可信数据源 (SSOT)。 复制数据通常会导致形成数据孤岛,即组织中的不同团队可能在使用同一数据的不同版本,这些版本的质量和时效性都不同。

湖仓如何控制事务和数据访问?

Delta Lake 事务使用与数据文件一起存储的日志文件,来提供表级别的 ACID 保证。 由于支持 Delta Lake 表的数据和日志文件同时位于云对象存储中,因此可以同时读取和写入数据,而不会出现由于查询过多导致性能下降或业务关键工作负载死锁的风险。 也就是说,整个企业环境中的用户和应用程序都可以连接到相同的数据单一副本,以驱动不同的工作负载,且保证所有查看者都可以在查询执行时接收最新版本的数据。

管理生产数据的访问权限

Unity Catalog 提供集中式数据治理解决方案,使数据专员能够对用户、组和服务主体进行精细的访问控制。 Unity Catalog 使用访问控制列表 (ACL) 管理权限,通过这些列表可以灵活且具体地配置资源。 一些可配置的权限包括:

  • 对少量表的只读访问权限。
  • 创建和修改数据库表的权限。
  • 可以读取或修改特定云存储位置中的数据。
  • 通过 Unity Catalog 管理的存储凭据访问大量云资源。

有关详细信息,请参阅什么是 Unity Catalog?

利用湖仓中的视图

Azure Databricks 上的视图表示针对存储在表(位于 Lakehouse 某处)中的数据的已保存查询。 而产生表结果的查询是在写入时执行的,视图则会在每次执行针对视图的查询时运行其定义逻辑。 这意味着视图可以提供对各种源中数据的最新访问,且计算仅用于在需要时更新结果。

可以使用 Unity Catalog 来保护和共享视图以及其他数据对象,从而允许个人和团队共享推动整个组织的关键业务决策的逻辑。

有关详细信息,请参阅什么是视图?

与协作者共享数据

虽然 Unity 目录中的 ACL 涵盖了各种用于在企业组织内共享数据的用例,但 OpenSharing 通过管理可随处与协作者共享的数据集的只读访问权限来进一步扩展这一点。 Unity Catalog 支持的用例包括:

  • 为跨国公司的相互隔离区域提供对区域分析数据的实时访问。
  • 在同一集团旗下彼此隔离的各业务之间共享数据集。
  • 为第三方使用者提供针对客户特选数据集的安全访问权限。

在Azure Databricks,OpenSharing 内置了 Unity 目录,但它也是 开放源代码 Delta Lake 的一部分。 有关详细信息,请参阅 什么是 OpenSharing?