我在S3上有两个csv文件：

# a1.csv
a,b
3,4

字符串
和

# b2.csv
a,c
1,"text"

型
我想一次读取这两个文件，确保最终的嵌套框架包含所有文件中的所有列，如下所示：

+---+----+----+
|  a|   b|   c|
+---+----+----+
|  1|null|text|
|  3|   4|null|
+---+----+----+

型
我尝试了inferSchema和schema选项，但它们没有提供我期望的结果。
选项1：

df = spark.read\
    .option("header", True)\
    .option("inferSchema", True)\
    .csv("s3a://test/*.csv")\
    .show()

+---+----+
|  a|   c|
+---+----+
|  1|text|
|  3|   4|
+---+----+

型
备选方案2：

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

schema = StructType([
StructField("a", IntegerType(), False)
,StructField("b", IntegerType(), True)
,StructField("c", StringType(), True)
])

df = spark.read\
    .option("header", True)\
    .schema(schema)\
    .csv("s3a://test/*.csv")\
    .show()

+---+----+----+
|  a|   b|   c|
+---+----+----+
|  1|null|null|
|  3|   4|null|
+---+----+----+

型
有什么办法吗？