pytest处理读取avro的测试目录,而不是整个测试文件夹

31moq8wy  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(188)

我有一个名为test的完整目录,作为项目测试的目录。在其中我有几个子目录,每个子目录都包含一些测试文件。其中一个子目录也是一个名为it的目录(它代表集成测试),它充当应用程序端到端测试的目录。该应用程序是一个pyspark应用程序,它与其他逻辑一起读取avro文件。
用于测试我使用的 pytest . 当我跑的时候 pytest 在整个测试目录中,所有的单元测试都通过了,但是从avro读取的端到端测试却异常失败

org.apache.spark.sql.AnalysisException: Failed to find data source: avro. Avro is built-in but external data source module since Spark 2.4. Please deploy the application as per the deployment section of "Apache Avro Data Source Guide"

一旦我跑了 pytest 只有在仅包含端到端测试的it目录上,所有测试都会顺利通过。
我还尝试将一些带有单元测试的文件移到it目录中。当我跑的时候 pytest 在it目录中,当它还包含一个包含单元测试的文件时,端到端测试再次失败,单元测试工作。 pytest 似乎包含了现成的avro库,因为它在端到端测试文件上工作,没有任何附加参数链接avro库。
你知道我可能缺少什么配置吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题