如何用 Java 操作 Spark SQL
对于如何用 Java 操作 Spark SQL 的 demo 您可以参考该示例代码:
将示例代码下载到本地后,用 maven 打包成 sql-1.0.jar。
用 WinSCP 工具将打包成的 sql-1.0.jar 上传到您的 Spark 集群的
/home/sshuser/
目录下。在头结点上直接运行如下语句即可运行该示例代码:
spark-submit \ --class com.libao.spark.App \ --name App \ --master yarn \ --executor-memory 1G \ --num-executors 2 \ /home/sshuser/sql-1.0.jar
通过如上步骤就可以将一个 Java 写的 Spark SQL 程序运行在您的 Spark 集群上了。