thirdCateBrandres.createOrReplaceTempView("tempTable2")
sql("insert overwrite table temp_cate3_Brand_List select * from tempTable2")
上述代码, thirdCateBrandres
是Spark DataFrame
,注册为临时表,然后写入表 temp_cate3_Brand_List
,表中有30亿行和7个字段,数据大小约为4gb,orc+snappy格式。这些代码花了大约20分钟。
如何加快程序的速度?
暂无答案!
目前还没有任何答案,快来回答吧!