Compartilhar via

BlobFuse 挂载的流式处理模式与缓存模式

可以使用 BlobFuse 在 流模式(块缓存)或 缓存模式(文件缓存)中装载 Azure Blob 存储容器。 本文介绍每个模式,并帮助你确定最适合工作负荷的模式。

在流式处理模式和缓存模式之间进行选择

流式处理模式下,数据以数据块的形式流式传输,并在下载过程中进行提供。 此模式适用于涉及 大型文件的工作负载,例如 AI/ML 训练数据集、基因组排序和高性能计算(HPC)模拟。

对大型文件使用流式处理模式,因为它支持对读取和写入作进行流式处理。 BlobFuse 将流式文件的块缓存到内存中。 对于不包含块的较小文件,整个文件将存储在内存中。 缓存模式是替代模式,应该将其用于不涉及大型文件的工作负荷,其中文件全部存储在磁盘上。

缓存模式下,BlobFuse 将整个文件从 Azure Blob 存储下载到 本地缓存目录中 ,然后再将其提供给应用程序。 所有后续读取和写入都来自此本地缓存,直到文件被逐出或失效。 如果创建或修改了文件,则关闭应用程序中的文件句柄会触发将此文件上传到存储容器。 此模式适合需要重复读取可存储在本地磁盘上的文件或数据集的工作负载。

下图可帮助你在处理只读工作负荷时在这两种模式之间进行决定。

帮助您为只读工作负荷选择块缓存或文件缓存的图表。

下图有助于你在处理读写工作负荷时在这两种模式之间进行决定。

显示如何为读写工作负荷选择块缓存和文件缓存模式的关系图。

后续步骤

另请参阅