用于构建会话配置的接口。
Syntax
builder
Methods
| 方法 | Description |
|---|---|
appName(name) |
为应用程序设置一个名称，名称会显示在 Spark 的 Web 界面中。 |
create() |
创建新的 SparkSession。 |
config(key, value, conf, map) |
设置配置选项。 选项会自动传播到 SparkConf 和 SparkSession 自己的配置。 |
enableHiveSupport() |
启用 Hive 支持，包括与持久性 Hive 元存储的连接。 |
getOrCreate() |
获取现有的 SparkSession，或者（如果没有现有 SparkSession）基于此生成器中设置的选项创建新 SparkSession。 |
master(master) |
设置要连接到的 Spark 主 URL。 |
remote(url) |
设置 Spark 远程 URL 以通过 Spark Connect 进行连接。 |
示例
spark = (
SparkSession.builder
.master("local")
.appName("Word Count")
.config("spark.some.config.option", "some-value")
.getOrCreate()
)
spark.sql("SELECT * FROM range(10) where id > 7").show()
+---+
| id|
+---+
| 8|
| 9|
+---+
spark.createDataFrame([('Alice', 1)], ['name', 'age']).show()
+-----+---+
| name|age|
+-----+---+
|Alice| 1|
+-----+---+
spark.range(1, 7, 2).show()
+---+
| id|
+---+
| 1|
| 3|
| 5|
+---+