在pyspark中创建Dataframe

x33g5p2x 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(383)

我正试图从一个列表中创建一个Dataframe
有人能告诉我为什么会出错吗：
java.lang.illegalargumentexception:要求失败：列数不匹配。
以下是

from pyspark.sql.types import *
test_list = ['green', 'peter']

df = spark.createDataFrame(test_list,StringType()).toDF("color", "name")

谢谢

1条答案

这个 test_list 应该包含行列表，其中的行应该是元组或类似列表的 test_list = [('green', 'peter')] 或 test_list = [['green', 'peter']] 如果不止一行

test_list = [('green', 'peter'), ('red', 'brialle')]
df = spark.createDataFrame(test_list, schema=["color", "name"])
df.show()

结果
+-----+------+
|颜色|名称|
+-----+--------+
|绿色|彼得|
+-----+--------+
|红|布里亚尔|
+-----+--------+
引用：createdataframe