在 HDInsight 中上传 Apache Hadoop 作业的数据

• 02/04/2019
• 作者
  • 
  • 
  • 
  • 

Azure HDInsight 提供一个基于 Azure 存储的功能完备的 Hadoop 分布式文件系统 (HDFS)。 Azure 存储设计为一个 HDFS 扩展，为客户提供无缝体验。 它们通过启用 Hadoop 生态系统中的整套组件以直接操作其管理的数据。 Azure 存储是独特的文件系统，并且已针对数据的存储和计算进行了优化。

先决条件

在开始下一步之前，请注意以下要求：

• 一个 Azure HDInsight 群集。 有关说明，请参阅 Azure HDInsight 入门或创建 HDInsight 群集。

• 学习以下两篇文章：

  • 将 Azure 存储与 HDInsight 配合使用

将数据上传到 Azure 存储

命令行实用程序

Microsoft 提供以下实用工具用于操作 Azure 存储：

Azure 经典 CLI

Azure 经典 CLI 是一个跨平台工具，可用于管理 Azure 服务。 使用以下步骤将数据上传到 Azure 存储：

1. 安装和配置适用于 Mac、Linux 和 Windows 的 Azure 经典 CLI。

2. 打开命令提示符、bash 或其他 shell，并使用以下方法对 Azure 订阅进行身份验证。

   azure login -e AzureChinaCloud
   

   出现提示时，输入订阅的用户名和密码。

3. 输入以下命令，列出订阅的存储帐户：

   azure storage account list
   

4. 选择包含用户要使用的 Blob 的存储帐户，并使用以下命令检索此帐户的密钥：

   azure storage account keys list <storage-account-name>
   

   此命令返回主密钥和辅助密钥。 复制 主 密钥值，因为后续步骤要用到它。

5. 使用以下命令可检索存储帐户中的 Blob 容器列表：

   azure storage container list -a <storage-account-name> -k <primary-key>
   

6. 使用以下命令可将文件上传和下载到 Blob：

   • 上传文件：

     azure storage blob upload -a <storage-account-name> -k <primary-key> <source-file> <container-name> <blob-name>
     

   • 下载文件：

     azure storage blob download -a <storage-account-name> -k <primary-key> <container-name> <blob-name> <destination-file>
     

Azure PowerShell

Azure PowerShell 是一个脚本编写环境，可用于在 Azure 中控制和自动执行工作负荷的部署和管理。 有关配置工作站运行 Azure PowerShell 的信息，请参阅安装和配置 Azure PowerShell。

将本地文件上传到 Azure 存储

1. 根据安装和配置 Azure PowerShell 中的说明打开 Azure PowerShell 控制台。

2. 设置以下脚本中前五个变量的值：

   $resourceGroupName = "<AzureResourceGroupName>"
   $storageAccountName = "<StorageAccountName>"
   $containerName = "<ContainerName>"
   
   $fileName ="<LocalFileName>"
   $blobName = "<BlobName>"
   
   # Get the storage account key
   $storageAccountKey = (Get-AzureRmStorageAccountKey -ResourceGroupName $resourceGroupName -Name $storageAccountName)[0].Value
   # Create the storage context object
   $destContext = New-AzureStorageContext -StorageAccountName $storageAccountName -StorageAccountKey $storageaccountkey
   
   # Copy the file from local workstation to the Blob container
   Set-AzureStorageBlobContent -File $fileName -Container $containerName -Blob $blobName -context $destContext
   

3. 将脚本粘贴到 Azure PowerShell 控制台中，以运行它来复制文件。

有关创建用来使用 HDInsight 的 PowerShell 脚本示例，请参阅 HDInsight 工具。

AzCopy

AzCopy 是一个命令行工具，用于简化将数据传入和传出 Azure 存储帐户的任务。 可以将它作为独立的工具使用，也可以将此工具融入到现有应用程序中。 下载 AzCopy。

AzCopy 语法为：

AzCopy <Source> <Destination> [filePattern [filePattern...]] [Options]

有关详细信息，请参阅 AzCopy - 上传/下载 Azure Blob 的文件。

AzCopy on Linux 预览版已推出。 请参阅宣布推出 AzCopy on Linux 预览版。

Hadoop 命令行

仅当数据已存在于群集头节点中时，才可以使用 Hadoop 命令行将数据存储到 Azure 存储 Blob。

若要使用 Hadoop 命令，必须先使用以下方法之一连接到头节点：

• 基于 Windows 的 HDInsight：使用远程桌面进行连接
• 基于 Linux 的 HDInsight：使用 SSH 或 PuTTY 进行连接。

连接之后，可以使用以下语法将文件上传到存储。

hadoop -copyFromLocal <localFilePath> <storageFilePath>

例如： hadoop fs -copyFromLocal data.txt /example/data/data.txt

由于 HDInsight 的默认文件系统在 Azure 存储中，/example/data.txt 实际是在 Azure 存储中。 也可以将该文件表示为：

wasb:///example/data/data.txt

或

wasb://<ContainerName>@<StorageAccountName>.blob.core.chinacloudapi.cn/example/data/davinci.txt

若要查看可用于文件的其他 Hadoop 命令的列表，请参阅 https://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-common/FileSystemShell.html

图形客户端

还有一些应用程序可提供用于 Azure 存储的图形界面。 下表是其中一些应用程序的列表：

用于 HDInsight 的 Visual Studio 工具

有关详细信息，请参阅导航链接的资源。

Azure 存储资源管理器

Azure 存储资源管理器 是一种用于在 Blob 中检查和更改数据的实用工具。 它是免费的开源工具，可从 https://storageexplorer.com/ 下载。 也可以从此链接获取源代码。

使用该工具之前，必须知道 Azure 存储帐户名和帐户密钥。 有关如何获取此信息的说明，请参阅：创建、管理或删除存储帐户中的“如何：查看、复制和重新生成存储访问密钥”部分。

1. 运行 Azure 存储资源管理器。 首次运行存储资源管理器时，系统会提示输入“存储帐户名”和“存储帐户密钥”。 如果以前运行过存储资源管理器，请使用 “添加”按钮添加一个新的存储帐户名和密钥。

   输入 HDInsight 群集使用的存储帐户的名称和密钥，然后选择“保存并打开”。

   

2. 在界面左侧的容器列表中，单击与 HDInsight 群集关联的容器名称。 默认情况下，这是 HDInsight 群集的名称，但如果在创建群集时输入了特定的名称，则该名称可能不同。

3. 在工具栏中选择上传图标。

   

4. 指定要上传的文件，然后单击“打开”。 出现提示时，请选择“上传”将文件上传到存储容器的根目录。 若要将文件上传到特定的路径，请在“目标”字段中输入该路径，然后选择“上传”。

   

   上传完文件后，可以通过 HDInsight 群集中的作业来使用该文件。

将 Azure 存储装载为本地驱动器

请参阅将 Azure 存储装载为本地驱动器。

使用服务上传

Apache Sqoop

Sqoop 是一种专用于在 Hadoop 和关系数据库之间传输数据的工具。 可以使用此工具将数据从关系数据库管理系统 (RDBMS)（如 SQL Server、MySQL 或 Oracle）中导入到 Hadoop 分布式文件系统 (HDFS)，在 Hadoop 中使用 MapReduce 或 Hive 转换数据，然后回过来将数据导出到 RDBMS。

有关详细信息，请参阅将 Sqoop 与 HDInsight 配合使用。

开发 SDK

还可以使用 Azure SDK 通过以下编程语言来访问 Azure 存储：

• .NET
• Java
• Node.js
• PHP
• Python
• Ruby

有关安装 Azure SDK 的详细信息，请参阅 Azure 下载

故障排除

写入 blob 时的存储异常

症状：使用 hadoop 或 hdfs dfs 命令在 HBase 群集上编写大于或等于 ~12 GB 的文件时，可能会遇到以下错误：

ERROR azure.NativeAzureFileSystem: Encountered Storage Exception for write on Blob : example/test_large_file.bin._COPYING_ Exception details: null Error Code : RequestBodyTooLarge
copyFromLocal: java.io.IOException
        at com.microsoft.azure.storage.core.Utility.initIOException(Utility.java:661)
        at com.microsoft.azure.storage.blob.BlobOutputStream$1.call(BlobOutputStream.java:366)
        at com.microsoft.azure.storage.blob.BlobOutputStream$1.call(BlobOutputStream.java:350)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
        at java.util.concurrent.FutureTask.run(FutureTask.java:262)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745)
Caused by: com.microsoft.azure.storage.StorageException: The request body is too large and exceeds the maximum permissible limit.
        at com.microsoft.azure.storage.StorageException.translateException(StorageException.java:89)
        at com.microsoft.azure.storage.core.StorageRequest.materializeException(StorageRequest.java:307)
        at com.microsoft.azure.storage.core.ExecutionEngine.executeWithRetry(ExecutionEngine.java:182)
        at com.microsoft.azure.storage.blob.CloudBlockBlob.uploadBlockInternal(CloudBlockBlob.java:816)
        at com.microsoft.azure.storage.blob.CloudBlockBlob.uploadBlock(CloudBlockBlob.java:788)
        at com.microsoft.azure.storage.blob.BlobOutputStream$1.call(BlobOutputStream.java:354)
        ... 7 more

原因：HBase on HDInsight 群集在写入 Azure 存储时默认阻止 256KB 大小的块。 尽管这对 HBase API 或 REST API 来说可良好运行，但使用 hadoop 或 hdfs dfs 命令行实用工具时则会导致错误。

解决方法：使用 fs.azure.write.request.size 指定更大的块大小。 可以使用 -D 参数基于使用情况执行此操作。 以下命令是将此参数用于 hadoop 命令的示例：

hadoop -fs -D fs.azure.write.request.size=4194304 -copyFromLocal test_large_file.bin /example/data

还可使用 Apache Ambari 以全局方式增加 fs.azure.write.request.size 的值。 可以使用以下步骤在 Ambari Web UI 中更改该值：

1. 在浏览器中，转到群集的 Ambari Web UI。 该地址为 https://CLUSTERNAME.azurehdinsight.cn，其中“CLUSTERNAME”是群集名称。

   出现提示时，输入群集的管理员名称和密码。

2. 在屏幕左侧选择“HDFS”，然后选择“配置”选项卡。
3. 在“筛选...”字段中输入 fs.azure.write.request.size。 这会在页面中间显示字段和当前值。
4. 将值从 262144 (256KB) 更改为新的值。 例如，4194304 (4MB)。

有关如何使用 Ambari 的详细信息，请参阅使用 Apache Ambari Web UI 管理 HDInsight 群集。

后续步骤

现在，已了解如何将数据导入 HDInsight，请阅读以下文章了解如何执行分析：

• Azure HDInsight 入门
• 以编程方式提交 Apache Hadoop 作业
• 将 Apache Hive 和 HDInsight 配合使用
• 将 Apache Pig 和 HDInsight 配合使用