使用 HDInsight .NET SDK 运行 Apache Hive 查询

  • 项目

了解如何使用 HDInsight .NET SDK 提交 Apache Hive 查询。 编写 C# 程序来提交 Hive 查询以列出 Hive 表，并显示结果。

注意

必须从 Windows 客户端执行本文中的步骤。 有关使用 Linux、OS X 或 Unix 客户端来使用 Hive 的信息，请使用本文顶部显示的选项卡选择器。

先决条件

在开始阅读本文前，必须具有以下项：

  • HDInsight 中的 Apache Hadoop 群集。 请参阅在 HDInsight 中使用基于 Linux 的 Hadoop。

    重要

    自 2017 年 9 月 15 日起，HDInsight .NET SDK 仅支持从 Azure 存储帐户返回 Hive 查询结果。 如果将此示例用于使用 Azure Data Lake Storage 作为主存储的 HDInsight 群集，则无法使用 .NET SDK 检索搜索结果。

  • Visual Studio 2013 及更高版本。 至少应安装工作负载 .NET 桌面开发。

运行 Hive 查询

HDInsight .NET SDK 提供 .NET 客户端库，可简化从 .NET 中使用 HDInsight 群集的操作。

  1. 在 Visual Studio 中创建 C# 控制台应用程序。

  2. 在 Nuget 包管理器控制台运行以下命令：

    Install-Package Microsoft.Azure.Management.HDInsight.Job

  3. 编辑以下代码以初始化变量的值：ExistingClusterName, ExistingClusterUsername, ExistingClusterPassword,DefaultStorageAccountName,DefaultStorageAccountKey,DefaultStorageContainerName。 然后，在 Visual Studio 中使用修改后的代码作为 Program.cs 的全部内容。

    using System.Collections.Generic;
using System.IO;
using System.Text;
using System.Threading;
using Microsoft.Azure.Management.HDInsight.Job;
using Microsoft.Azure.Management.HDInsight.Job.Models;
using Hyak.Common;

namespace SubmitHDInsightJobDotNet
{
    class Program
    {
        private static HDInsightJobManagementClient _hdiJobManagementClient;

        private const string ExistingClusterName = "<Your HDInsight Cluster Name>";
        private const string ExistingClusterUsername = "<Cluster Username>";
        private const string ExistingClusterPassword = "<Cluster User Password>";

        // Only Azure Storage accounts are supported by the SDK
        private const string DefaultStorageAccountName = "<Default Storage Account Name>";
        private const string DefaultStorageAccountKey = "<Default Storage Account Key>";
        private const string DefaultStorageContainerName = "<Default Blob Container Name>";

        private const string ExistingClusterUri = ExistingClusterName + ".azurehdinsight.cn";

        static void Main(string[] args)
        {
            System.Console.WriteLine("The application is running ...");

            var clusterCredentials = new BasicAuthenticationCloudCredentials { Username = ExistingClusterUsername, Password = ExistingClusterPassword };
            _hdiJobManagementClient = new HDInsightJobManagementClient(ExistingClusterUri, clusterCredentials);

            SubmitHiveJob();

            System.Console.WriteLine("Press ENTER to continue ...");
            System.Console.ReadLine();
        }

        private static void SubmitHiveJob()
        {
            Dictionary<string, string> defines = new Dictionary<string, string> { { "hive.execution.engine", "tez" }, { "hive.exec.reducers.max", "1" } };
            List<string> args = new List<string> { { "argA" }, { "argB" } };
            var parameters = new HiveJobSubmissionParameters
            {
                Query = "SHOW TABLES",
                Defines = defines,
                Arguments = args
            };

            System.Console.WriteLine("Submitting the Hive job to the cluster...");
            var jobResponse = _hdiJobManagementClient.JobManagement.SubmitHiveJob(parameters);
            var jobId = jobResponse.JobSubmissionJsonResponse.Id;
            System.Console.WriteLine("Response status code is " + jobResponse.StatusCode);
            System.Console.WriteLine("JobId is " + jobId);

            System.Console.WriteLine("Waiting for the job completion ...");

            // Wait for job completion
            var jobDetail = _hdiJobManagementClient.JobManagement.GetJob(jobId).JobDetail;
            while (!jobDetail.Status.JobComplete)
            {
                Thread.Sleep(1000);
                jobDetail = _hdiJobManagementClient.JobManagement.GetJob(jobId).JobDetail;
            }

            // Get job output
            var storageAccess = new AzureStorageAccess(DefaultStorageAccountName, DefaultStorageAccountKey,
                DefaultStorageContainerName);
            var output = (jobDetail.ExitValue == 0)
                ? _hdiJobManagementClient.JobManagement.GetJobOutput(jobId, storageAccess) // fetch stdout output in case of success
                : _hdiJobManagementClient.JobManagement.GetJobErrorLogs(jobId, storageAccess); // fetch stderr output in case of failure

            System.Console.WriteLine("Job output is: ");

            using (var reader = new StreamReader(output, Encoding.UTF8))
            {
                string value = reader.ReadToEnd();
                System.Console.WriteLine(value);
            }
        }
    }
}

  4. 按 F5 运行该应用程序。

应用程序的输出应类似于：

HDInsight Hadoop Hive 作业输出。

后续步骤

本文介绍了如何使用 HDInsight .NET SDK 提交 Apache Hive 查询。 若要了解更多信息，请参阅下列文章：