pyspark中的显示功能显示较少的记录

enxuqcxy  于 4个月前  发布在  Spark
关注(0)|答案(1)|浏览(68)

我有一个框架,当我显示一个特定列的值时,它给我6个recs,但是当作为一个整体显示时,它显示5个recs。无法找出原因。

df = spark.sql("SELECT * FROM fin WHERE __file_name__ = 'MAT1_2022_07.csv' and  RefDocNo LIKE '360237588%'")

df.column("RefDocNo").display() --Gives 6 recs

df.display() --Gives 5 recs.

字符串
请注意:df.count()给出6个rec。也尝试了df.display(n= df.count()),但仍然看到5个rec

uurv41yg

uurv41yg1#

Databricks对display功能有一些限制(不幸的是,我找不到确切的规格)。默认情况下,它应该显示多达10,000条记录。但是,如果你的一个或一些列有一个很长的字符串,那么这10,000条记录将减少到一些较小的数字。因此,请尝试识别你有哪个长字符串列,尝试在显示之前删除它,你会看到你所有的数据。

相关问题