如何将sparkDataframe写入orc存储中的配置单元表

u5i3ibmn  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(223)
thirdCateBrandres.createOrReplaceTempView("tempTable2")
sql("insert overwrite table temp_cate3_Brand_List select * from tempTable2")

上述代码, thirdCateBrandres 是Spark DataFrame ,注册为临时表,然后写入表 temp_cate3_Brand_List ,表中有30亿行和7个字段,数据大小约为4gb,orc+snappy格式。这些代码花了大约20分钟。
如何加快程序的速度?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题