如何在控制台中编写Dataframe(scala spark(流媒体)

ql3eal8s  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(306)

我想调试我的笔记本,因此我需要打印出笔记本控制台模式的数据流。我有两个问题:1-有没有可能做到:

df.writeStream.format("console").start().awaitTermination()

2-如果是,在哪里可以看到输出?

这是10分钟后。。。无错误或结果
谢谢?

khbbv19g

khbbv19g1#

我知道我的案子有什么问题。我不得不在我的方法中添加“.outputmode”(“append”)”。下面是它的外观:

def writeStreamData(dataFrame: DataFrame): Unit = {
        /**
         * write the given dataframe into a file or console
         :params: dataframe
         */
        dataFrame.writeStream
            .format("console")
            .outputMode("append")
            .start()
            .awaitTermination()
    }

相关问题