如何在使用pyspark从mongodb读取数据时定义模式

oyjwcjzk  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(283)

我有一个问题:在我的一个集合中,有一个属性“col1”,它没有出现在所有文档中,因为我的工作正在下降,它表示无法解析“col1”,但我需要在我的o/p中删除此列。如果此列不存在,我需要生成“null”。
我们有一个使用“java”和“scala”的解决方案。在pyspark中,我们有一个名为“struct”的函数,并创建dataframe,但这些函数仅适用于rdd,但当我从mongo加载数据时,它默认创建dataframe。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题