数据集中的java对象在spark streaming中被输出为{}当作为json输出时,我如何得到实际值?

6g8kf2rb  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(229)

我有一个java对象,其结构如下:

public class Example{
  private String key;
  private Object value;

  getters and setters here...
}

键将对象的类型存储为字符串或长为字符串。值存储对象的实际值。
我有一个包含示例的dataset/dataframe,当我以这种方式以json输出它时 df.writeStream.format("json").output.option("path", "mypath").start().awaitTermination() json将以两种方式出现。
对象为空,因此spark不输出它。 {key:"string"} 或者 {key:"long"} 对象不是空的,所以spark会输出它,但只输出为{}。 {key:"string", value:{}} 或者 {key:"long", value:{}} 我需要json输出包含实际值,但是因为它被声明为一个对象,所以我猜spark不能很好地解释它。我需要它这样输出: {key:"string", value:""} 或者 {key:"long", value:12345} 任何帮助或见解都将不胜感激。谢谢您!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题