从spark运行sqoop时出现连接异常

1tu0hz3e  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(208)

我目前正在尝试运行一个sqoop导入作业,它是spark jar的一部分。
我正在使用 com.cloudera.sqoop.SqoopOptions 以及 com.cloudera.sqoop.tool.ImportTool 运行sqoop作业。
代码如下所示:

import com.cloudera.sqoop.SqoopOptions
import com.cloudera.sqoop.tool.ImportTool

val options = new SqoopOptions
val sqoopImport  = new ImportTool

options.setConnectString("..")
options.setTargetDir("..")

//and a bunch of other Sqoop related options

//and finally 
val ret = sqoopImport.run(options)

但他根本不跑。这项工作继续下去 RUNNING 持续数小时,出现故障 ConnectionException 连接异常失败:java.net.connectexception:连接被拒绝;有关详细信息,请参阅:http://wiki.apache.org/hadoop/connectionrefused
编译器还发出警告 SqoopOptions 以及 ImportTool 已弃用。
我可以从中完美地执行代码 spark-shell 我正在提交我的申请 --master yarn-cluster --deploy-mode cluster 你知道这里出了什么问题吗?我必须使用不同的api吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题