spark+hive仓库连接器+hive:使用带扣的hive表

xeufq47z  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(308)

是否可以使用(hortonworks)配置单元仓库连接器从spark(streaming)app写入(附加)一个带扣的配置单元表?
我的spark数据集是由 dataset.write().format(HiveWarehouseSession.HIVE_WAREHOUSE_CONNECTOR).mode("append").option("table", "simulation.hive_sensor").save(); 当我试着在直线通过运行一个主要的压缩 alter table mydb.mytable compaction 'major'; 我的mr作业日志中出现以下异常:

Error: java.lang.IllegalStateException: No 'original' files found for bucketId=6 in hdfs://myserver.de:8020/warehouse/tablespace/managed/hive/simulation.db/hive_sensor/delta_0000096_0000096_0000

如何解决这个问题,如果hwc不支持bucket,但是在hive表的hdfs路径中生成了数千个文件(/warehouse/tablespace/managed/hive/simulation.db/hive\u sensor)-出于性能原因,我不得不聚合这些小文件。
我正在使用hortonworks数据平台3.1.4以及spark 2.3.2和hive 3.1.0

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题