设置配置选项。 使用该方法设置的选项会自动传播到 SparkConf 和 SparkSession的配置中。
Syntax
config(key=None, value=None, conf=None, *, map=None)
Parameters
| 参数 | 类型 | Description |
|---|---|---|
key |
str，可选 | 配置属性的键名字符串。 |
value |
str，可选 | 配置属性的值。 |
conf |
SparkConf，可选 |
SparkConf的实例。 |
map |
dict，可选 | 一个配置词典。 |
返回
SparkSession.Builder
示例
# For an existing SparkConf, use the conf parameter.
from pyspark.conf import SparkConf
conf = SparkConf().setAppName("example").setMaster("local")
SparkSession.builder.config(conf=conf)
# For a (key, value) pair, you can omit the parameter names.
SparkSession.builder.config("spark.some.config.option", "some-value")
# Set multiple configurations.
SparkSession.builder.config(
"spark.some.config.number", 123).config("spark.some.config.float", 0.123)
# Set multiple configurations using a dictionary.
SparkSession.builder.config(
map={"spark.some.config.number": 123, "spark.some.config.float": 0.123})