配置流式处理数据源
Azure Databricks 可以与流式消息传递服务集成,以将近乎实时的数据引入 Databricks 湖屋。 Azure Databricks 还可以将 Lakehouse 中扩充和转换的数据与其他流式处理系统同步。
结构化流式处理提供对 Apache Spark 支持的文件格式的原生流式处理访问,但 Databricks 建议对大多数从云对象存储读取数据的结构化流式处理操作使用自动加载程序。 请参阅什么是自动加载程序?。
将流式处理消息引入到 Delta Lake 允许你无限期地保留消息,使你可以重播数据流,而不必担心由于保留阈值而丢失数据。
若要详细了解从消息队列流式传输的特定配置,请参阅: