我正在创建一个长时间运行的spark应用程序。创建spark会话并开始运行应用程序后，单击spark历史服务器上的“显示未完成的应用程序”后，我无法看到它。但是，如果我强制关闭我的应用程序，我可以在“已完成的应用程序”页面下看到它。
我在客户机和服务器上都正确配置了spark参数，如下所示：spark.eventlog.enabled=true
spark.eventlog.dir目录=hdfs://10.18.51.117：8020/history/（我的spark历史服务器上的hdfs路径）
我还在服务器端配置了相同的配置。因此，配置不应该是一个问题（因为在我强制停止应用程序之后，完成的应用程序也会出现）。
你们对这种行为有什么想法吗？？
我查看spark history server上的hdfs文件，发现一个非常小的.inprogress文件与我正在运行的应用程序关联（接近空，请参见下图）。似乎只有当应用程序停止时，结果才会被刷新到文件中，这对于我的长时间运行的应用程序来说并不理想……有什么方法或参数可以调整来强制刷新日志吗？
在应用程序运行期间hdfs上显示的非常小的.inprogress文件