oracle瓶颈任务超时

sczxawaw  于 2021-07-12  发布在  Spark
关注(0)|答案(0)|浏览(122)

我们有一个在spark和oracledb上编程的系统。我的系统的瓶颈是当worker在db中插入或更新时,worker的一些执行器出现超时错误。我们有6个工人,其中有64g内存和8核。执行次数等于辅助进程的核心数,每个执行者运行一个任务。oracle数据库有16个内核和96g内存。我们认为我们的spark cluster比db系统更大,可以插入或更新大数据(每个执行者可能同时插入或更新7g数据),是真的吗?另一个问题是像cassandra这样的分布式数据库可以解决这个瓶颈吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题