使用日志排查 Azure Data Box Disk 中的上传问题

项目
06/24/2024

本文介绍使用 Azure Data Box Disk 将数据上传 Azure 数据中心时遇到的问题。

关于上传日志

将 Data Box Disk 中的数据上传到 Azure 数据中心时，将为每个存储帐户生成复制/错误日志和详细日志。这些日志将上传到用于上传数据的同一个存储帐户。

复制日志报告磁盘和 Azure 存储帐户之间所有失败的复制操作的事件。复制日志以按错误类别分类的错误摘要结尾。
详细日志列出了在每个 blob 和文件上成功的所有复制操作。

找到日志

要从数据上传中查找日志，请执行以下步骤。

在 Azure 门户中打开订单。

当每个磁盘的数据上传完成后，“概述”窗格将显示磁盘状态和磁盘诊断日志的路径。

对于新订单，磁盘详细信息如以下屏幕中所示。复制日志会自动保存。如果在下订单时选择保存详细日志，你还将看到详细日志的路径。

Screenshot of the Overview pane for a Data Box Disk order with Copy Completed With Warnings status. A Copy Log Path and Verbose Log Path are highlighted.

日志将上传到存储帐户中的容器（用于 blob 导入）或共享（用于导入到 Azure 文件存储）。容器名为 databoxcopylog。 URL 采用以下格式：

日志类型	URL 格式
复制日志	<storage-account-name>/databoxcopylog/<order-name>_<device-serial-number>_CopyLog_<job-ID>.xml
详细日志	<storage-account-name>/databoxcopylog/<order-name>_<device-serial-number>_VerboseLog_<job-ID>.xml

对于之前的订单，显示内容可能如以下屏幕中所示。

如果在将数据上传到 Azure 时出现任何错误，“复制日志”会显示诊断日志所在的文件夹的路径。

Screenshot of the Overview pane for an earlier Data Box Disk order with completed copies. The Copy Log Paths are highlighted.

将日志上传到存储帐户中的 waies 容器。 URL 采用以下格式：

日志类型	URL 格式
错误日志 (error log)	<storage-account-name>/databoxlogs-<order-name>/waies/ri-<order-name>-guid_<drive-ID>_<timestamp>_error.xml
详细日志	<storage-account-name>/databoxlogs-<order-name>/waies/ri-<order-name>-guid_<drive-ID>_<timestamp>_verbose.xml

注意

databoxcopylog 容器中的日志的格式与 waies 容器中的日志的格式不同。如需帮助解释日志，请使用相关驱动器日志版本的说明。有关详细信息，请参阅标识日志版本。

若要查看日志，请打开将日志存储在存储帐户中的容器。下图显示了 waies 容器中的日志。
选择每个日志并下载本地副本。

标识日志版本

复制/错误日志和详细日志有两个版本，其格式各不不同。将在后面部分中单独讨论日志版本。

除了详细日志，你还会看到复制日志 (_copy.xml) 或错误日志 (_error.xml)，具体取决于驱动器版本。

要了解复制/错误日志和随附的详细日志的日志版本，请检查复制/错误日志中的驱动器日志版本。

日志文件名称	字段	驱动器日志版本
_copy.xml	DriveLogVersion	2021-08-01
_error.xml	DriveLog 版本	2018-10-01

下图显示了复制日志摘要部分中的 DriveLogVersion。

Illustration of the Summary section of a copy log for a Data Box Disk order. The Drive Log Version is highlighted.

示例上传日志

对于这两个日志版本，复制/错误日志和详细日志的日志格式各不相同。如果不确定你拥有哪个版本的日志，请参阅识别日志版本。

日志版本：2021-08-01
日志版本：2018-10-01

磁盘的每次数据传输都会生成一个复制日志。如果你在下单时选择了保存详细日志，则同一文件夹中也会包含详细日志。

详细日志

在下单期间，你可以选择启用详细日志文件。它是从驱动器成功导入的所有文件的简单列表，其中每个文件都包含以下信息。详细日志不提供摘要信息。

字段	说明
CloudFormat	BlockBlob、PageBlob 或 AzureFile。
路径	存储帐户中文件的路径。
大小	文件或 blob 大小。
crc64	循环冗余校验 64 (CRC64) 校验和，用于在数据传输期间验证数据完整性。

示例详细日志

以下示例详细日志包含块 blob、页 blob 和 Azure 文件存储导入的示例文件条目。

<File CloudFormat="BlockBlob" Path="$root\file26fd6b4bd-25f7-4019-8d0d-baa7355745df.vhd" Size="1024" crc64="14179624636173788226">
</File><File CloudFormat="BlockBlob" Path="$root\file49d220295-9cfd-469e-b69e-5c7c885133df.vhd" Size="1024" crc64="14179624636173788226">
</File>
----------CUT--------------------
<File CloudFormat="AzureFile" Path="e579954d-1f94-40cf-955f-afd39e9ca217\file1876f73ad-6213-43bc-9467-67fe0c794e99.block" Size="1024" crc64="1410470866535975213">
</File><File CloudFormat="AzureFile" Path="05407abe-81c8-4b44-b846-3a2c8c198316\file28d7868be-e6a7-4441-8d09-2b127f7d049e.vhd" Size="1024" crc64="1410470866535975213">
</File><File CloudFormat="AzureFile" Path="eb7666a7-c026-4375-9c08-3dea37a57713\file4448aeaf5-53dc-4bff-b798-4776e367ab5e.vhd" Size="1024" crc64="1410470866535975213">
</File>
----------CUT--------------------
<File CloudFormat="PageBlob" Path="tesdir8b1d0acd-2d37-46dd-96cf-edeb0f772e6b\file1.txt" Size="83886080" crc64="1680234237456714851">
</File><File CloudFormat="PageBlob" Path="tesdirf631630d-8098-4c84-be7b-40f6bbdb73fb\file_size0.txt" Size="0" crc64="0">
</File><File CloudFormat="PageBlob" Path="tesdirf631630d-8098-4c84-be7b-40f6bbdb73fb\Dir1/file_size0.txt" Size="0" crc64="0">
</File>

复制日志

复制日志为每个无法导入的文件包含一个错误条目，其中包含错误详细信息。复制日志以导入过程中发生的验证和复制错误的摘要结尾。

每个错误条目都包含以下信息。

字段	说明
路径	容器或文件共享中的目标共享。
类别	15 个错误类别之一。有关详细信息，请参阅日志版本 2021-08-01 的数据上传错误。
ErrorCode	错误的数值代码。
ErrorMessage	描述错误。

日志末尾的摘要（查找 CopyLog Summary）提供了以下信息：

驱动器日志版本（在本例中为 2021-08-01）
驱动器 ID
数据复制状态
按错误类别分类的验证错误摘要
按错误类别分类的复制错误摘要

示例复制日志

以下示例是导入到 Azure 文件存储和 Azure Blob 存储的复制日志。

此副本失败，没有验证错误，但有三个复制错误。一个文件共享被重命名（ShareRenamed 错误），两个容器被重命名（ContainerRenamed 错误）。错误条目提供了原始文件名和新文件名。

<ErroredEntity Path="New Folder">
  <Category>ShareRenamed</Category>
  <ErrorCode>1</ErrorCode>
  <ErrorMessage>The original container/share/Blob has been renamed to: DataBox-f55763d4-8ef7-458f-b029-f36b51ada34f :from: New Folder :because either name has invalid character(s) or length is not supported</ErrorMessage>
  <Type>Container</Type>
</ErroredEntity>
<ErroredEntity Path="CV">
  <Category>ContainerRenamed</Category>
  <ErrorCode>1</ErrorCode>
  <ErrorMessage>The original container/share/Blob has been renamed to: DataBox-6bcae46f-04c8-4385-8442-3a28b962c930 :from: CV :because either name has invalid character(s) or length is not supported</ErrorMessage>
  <Type>Container</Type>
</ErroredEntity><ErroredEntity Path="New_ShareFolder">
  <Category>ContainerRenamed</Category>
  <ErrorCode>1</ErrorCode>
  <ErrorMessage>The original container/share/Blob has been renamed to: DataBox-96d8e2ee-ffd4-4529-9ec0-f666674b70d9 :from: New_ShareFolder :because either name has invalid character(s) or length is not supported</ErrorMessage>
  <Type>Container</Type>
</ErroredEntity>
<CopyLog Summary="Summary">
  <DriveLogVersion>2021-08-01</DriveLogVersion>
  <DriveId>72a1914a-7fb2-4e34-a135-5c7176c3ee41</DriveId>
  <Status>Failed</Status>
  <TotalFiles_Blobs>60</TotalFiles_Blobs>
  <FilesErrored>0</FilesErrored>
  <Summary>
    <ValidationErrors>
      <None Count="3" />
    </ValidationErrors>
    <CopyErrors>
      <ShareRenamed Count="1" Description="Renamed the share as the original share name does not follow Azure conventions." />
      <ContainerRenamed Count="2" Description="Renamed the container as the original container name does not follow Azure conventions." />
    </CopyErrors>
  </Summary>
</CopyLog>

在驱动器日志版本 2018-10-01 中，数据上传会生成错误日志和详细日志。这两份日志采用相同的格式，包含将数据从磁盘复制到 Azure 存储帐户时所发生的事件的 XML 描述。

详细日志包含有关每个 Blob 或文件的复制操作状态的完整信息，而错误日志仅包含上传期间遇到错误的 Blob 或文件的信息。

错误日志的结构与详细日志相同，但可在其中筛选出成功的操作。

示例详细日志

下面显示了 _verbose.xml 的示例。在本例中，订单已成功完成而未出错。


<?xml version="1.0" encoding="utf-8"?>
<DriveLog Version="2018-10-01">
  <DriveId>184020D95632</DriveId>
  <Blob Status="Completed">
    <BlobPath>$root/botetapageblob.vhd</BlobPath>
    <FilePath>\PageBlob\botetapageblob.vhd</FilePath>
    <Length>1073742336</Length>
    <ImportDisposition Status="Created">rename</ImportDisposition>
    <PageRangeList>
      <PageRange Offset="0" Length="4194304" Status="Completed" />
      <PageRange Offset="4194304" Length="4194304" Status="Completed" />
      <PageRange Offset="8388608" Length="4194304" Status="Completed" />
      --------CUT-------------------------------------------------------
      <PageRange Offset="1061158912" Length="4194304" Status="Completed" />
      <PageRange Offset="1065353216" Length="4194304" Status="Completed" />
      <PageRange Offset="1069547520" Length="4194304" Status="Completed" />
      <PageRange Offset="1073741824" Length="512" Status="Completed" />
    </PageRangeList>
  </Blob>
  <Blob Status="Completed">
    <BlobPath>$root/botetablockblob.txt</BlobPath>
    <FilePath>\BlockBlob\botetablockblob.txt</FilePath>
    <Length>19</Length>
    <ImportDisposition Status="Created">rename</ImportDisposition>
    <BlockList>
      <Block Offset="0" Length="19" Status="Completed" />
    </BlockList>
  </Blob>
  <File Status="Completed">
    <FileStoragePath>botetaazurefilesfolder/botetaazurefiles.txt</FileStoragePath>
    <FilePath>\AzureFile\botetaazurefilesfolder\botetaazurefiles.txt</FilePath>
    <Length>20</Length>
    <ImportDisposition Status="Created">rename</ImportDisposition>
    <FileRangeList>
      <FileRange Offset="0" Length="20" Status="Completed" />
    </FileRangeList>
  </File>
  <Status>Completed</Status>
</DriveLog>

示例错误日志

下面显示了同一订单的 _error.xml 示例。


<?xml version="1.0" encoding="utf-8"?>
<DriveLog Version="2018-10-01">
  <DriveId>184020D95632</DriveId>
  <Summary>
    <ValidationErrors>
      <None Count="3" />
    </ValidationErrors>
    <CopyErrors>
      <None Count="3" Description="No errors encountered" />
    </CopyErrors>
  </Summary>
  <Status>Completed</Status>
</DriveLog>

下面显示了 _error.xml 的示例，其中的订单已完成但出错。

在本例中，错误文件提供了一个 Summary 节，以及包含所有文件级错误的另一个节。

Summary 包含 ValidationErrors 和 CopyErrors。在本例中，已将 8 个文件或文件夹上传到 Azure，且未出现验证错误。将数据复制到 Azure 存储帐户时，已成功上传 5 个文件或文件夹。剩余的 3 个文件或文件夹已根据 Azure 容器命名约定重命名，然后成功上传到 Azure。

文件级状态位于 BlobStatus 中，它描述了上传 Blob 所执行的任何操作。在本例中，已重命名 3 个容器，因为数据复制到的文件夹不符合容器的 Azure 命名约定。对于在这些容器中上传的 Blob，已包含新的容器名称、Azure 中 Blob 的路径、原始的无效文件路径和 Blob 大小。

 <?xml version="1.0" encoding="utf-8"?>
  <DriveLog Version="2018-10-01">
    <DriveId>18041C582D7E</DriveId>
    <Summary>
      <ValidationErrors>
        <None Count="8" />
      </ValidationErrors>
      <CopyErrors>
        <Completed Count="5" Description="No errors encountered" />
        <ContainerRenamed Count="3" Description="Renamed the container as the original container name does not follow Azure conventions." />
      </CopyErrors>
    </Summary>
    <Blob Status="ContainerRenamed">
      <BlobPath>databox-c2073fd1cc379d83e03d6b7acce23a6cf29d1eef/private.vhd</BlobPath>
      <OriginalFilePath>\PageBlob\pageblob test\private.vhd</OriginalFilePath>
      <SizeInBytes>10490880</SizeInBytes>
    </Blob>
    <Blob Status="ContainerRenamed">
      <BlobPath>databox-c2073fd1cc379d83e03d6b7acce23a6cf29d1eef/resource.vhd</BlobPath>
      <OriginalFilePath>\PageBlob\pageblob test\resource.vhd</OriginalFilePath>
      <SizeInBytes>71528448</SizeInBytes>
    </Blob>
    <Blob Status="ContainerRenamed">
      <BlobPath>databox-c2073fd1cc379d83e03d6b7acce23a6cf29d1eef/role.vhd</BlobPath>
      <OriginalFilePath>\PageBlob\pageblob test\role.vhd</OriginalFilePath>
      <SizeInBytes>10490880</SizeInBytes>
    </Blob>
    <Status>CompletedWithErrors</Status>
  </DriveLog>

数据上传错误

在这两个日志版本中，日志中报告的错误略有不同。如果不确定你拥有哪个版本的日志，请参阅识别日志版本。

日志版本：2021-08-01
日志版本：2018-10-01

下面描述了在 2018-10-01 复制日志中发现的错误。

错误类别	说明
`UploadErrorWin32`	文件系统错误。
`UploadErrorCloudHttp`	不支持的 blob 类型。
`UploadErrorDataValidationError`	数据引入期间计算出的 CRC 与上传期间计算出的 CRC 不匹配。
`UploadErrorManagedConversionError`	要导入的 Blob 的大小无效。 blob 大小为 <blob-size> 字节。支持的大小介于 20971520 字节和 8192 GiB 之间。
`UploadErrorUnknownType`	未知错误。
`ContainerRenamed`	重命名了容器，因为原始容器名称不遵循 Azure 命名约定。原始容器已从 <原始容器名称> 重命名为 DataBox-<GUID>。
`ShareRenamed`	重命名了共享，因为原始共享名称不遵循 Azure 命名约定。原始容器已从 <原始文件夹名称> 重命名为 DataBox-<GUID>。
`BlobRenamed`	重命名了 blob，因为原始 blob 名称不遵循 Azure 命名约定。原始 blob 已从 <原始名称> 重命名为 BlockBlob/DataBox-<GUID>。
`FileRenamed`	重命名了共享，因为原始共享名称不遵循 Azure 命名约定。原始 blob 已从 <原始名称> 重命名为 AzureFile/DataBox-<GUID>。
`DiskRenamed`	重命名托管磁盘文件，因为原始文件名不符合 Azure 命名约定。原始托管磁盘文件已从 <原始名称> 重命名为 ManagedDisk/DataBox-<GUID>。
`ExportCloudHttp`	不支持的 blob 类型。

下表汇总了将数据上传到 Azure 时生成的错误。此错误集可在 2018-10-01 错误日志中找到。

错误代码	说明
`Renamed`	已成功重命名 Blob。
`CompletedWithErrors`	上传已完成但出错。错误中的文件的详细信息已包含在日志文件中。
`Corrupted`	数据引入期间计算出的 CRC 与上传期间计算出的 CRC 不匹配。
`StorageRequestFailed`	Azure 存储请求失败。
`LeasePresent`	此项是租用的，已被其他用户使用。
`StorageRequestForbidden`	身份验证问题导致无法上传。
`ManagedDiskCreationTerminalFailure`	无法作为托管磁盘上传。文件已在临时存储帐户中作为页 Blob 提供。可将页 Blob 手动转换为托管磁盘。
`DiskConversionNotStartedTierInfoMissing`	由于 VHD 文件是在预创建的层文件夹外部复制的，因此未创建托管磁盘。文件已作为页 Blob 上传到创建订单期间指定的临时存储帐户。可手动将其转换为托管磁盘。
`InvalidWorkitem`	无法上传数据，因为它不符合 Azure 命名约定和限制。
`InvalidPageBlobUploadAsBlockBlob`	已作为块 Blob 上传到带有前缀 `databoxdisk-invalid-pb-` 的容器中。
`InvalidAzureFileUploadAsBlockBlob`	已作为块 Blob 上传到带有前缀 `databoxdisk-invalid-af`- 的容器中。
`InvalidManagedDiskUploadAsBlockBlob`	已作为块 Blob 上传到带有前缀 `databoxdisk-invalid-md`- 的容器中。
`InvalidManagedDiskUploadAsPageBlob`	已作为页 Blob 上传到带有前缀 `databoxdisk-invalid-md-` 的容器中。
`MovedToOverflowShare`	由于原始共享大小超过了最大 Azure 大小限制，已将文件上传到新共享。新文件共享名称包含带有 `-2` 后缀的原始名称。
`MovedToDefaultAzureShare`	已将不包含在任何文件夹中的文件上传到默认共享。共享名称以 `databox-` 开头。
`ContainerRenamed`	这些文件的容器不符合 Azure 命名约定，现已重命名。新名称以 `databox-` 开头，并以原始名称的 SHA1 哈希为后缀
`ShareRenamed`	这些文件的共享不符合 Azure 命名约定，现已重命名。新名称以 `databox-` 开头，并以原始名称的 SHA1 哈希为后缀。
`BlobRenamed`	这些文件不符合 Azure 命名约定，已重命名。请检查新名称的 `BlobPath` 字段。
`FileRenamed`	这些文件不符合 Azure 命名约定，已重命名。请检查新名称的 `FileStoragePath` 字段。
`DiskRenamed`	这些文件不符合 Azure 命名约定，已重命名。请检查新名称的 `BlobPath` 字段。

通过

使用日志排查 Azure Data Box Disk 中的上传问题

关于上传日志

找到日志

标识日志版本

示例上传日志

详细日志

示例详细日志

复制日志

示例复制日志

示例详细日志

示例错误日志

数据上传错误

其他资源