在java中读/写parquet的过时hadoop依赖

relj7zay  于 2021-07-13  发布在  Hadoop
关注(0)|答案(0)|浏览(227)

我有一个使用parquetavro1.11.1编写和读取parquet文件的java服务。
现在您可能已经知道,对于某些hadoop类,这需要另一个依赖项(parquet avro中不包括该依赖项),例如:

org.apache.hadoop.conf.Configuration
org.apache.hadoop.fs.Path

我最终使用了hadoopcore1.2.1,这是可行的。问题是,这个图书馆是2013年的,而且是最新版本!我想知道有没有新的选择?我尝试了以下方法:
hadoop客户端
hadoop通用
两者都可以编译,但如果没有本地hadoop安装就不能工作,我希望避免这种情况——我只需要使用parquet所需的类。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题