我有一个pyspark代码，它连接到cassandra数据库来获取给定表的计数。但是每次我运行pyspark代码时，我都会收到大量ivyjar依赖解析消息，我不想看到这些消息，而输出只是显示计数的一小行。我尝试了log4j.properties文件中的logging属性设置，似乎对于python来说，它们工作不正常。
如何停止在spark控制台上显示信息消息？
所以，我要做的就是编写一个python程序，用spark submit调用或运行这个pyspark程序，这样所有的日志记录就不会被写入控制台了。
另外，作为一个完整的画面，我想建立一个界面（如下链接所示）从列表中选择一个表&当用户选择它时，一个pyspark/spark提交作业将启动，然后只向用户显示作业的输出，而不需要日志记录。

我脑子里有几个想法：
使用subprocess（在这方面不是pro，但会尝试）
使用shlex（不确定这是否给出了解决方案）
所以，请建议最好的方法