我用java操作尝试了oozie和spark。
oozie版本4.1.0.3
spark版本1.2.1。
当我使用spark submit运行时,同样的代码工作正常。但从oozie来看,这是一个例外。
在java代码中,我有selection语句 using hiveContext.sal("select * from..")
,在获取收藏时。
注意:我在hive-site.xml中找不到where-found 1
例外情况:
java.lang.runtimeexception:java.lang.numberformatexception:对于输入字符串:“1s”
找到 workflow.xml
我使用如下
<action name="scala_java">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<job-xml> ${nameNode}/user/${wf:user()}/${appRoot}/mysite/hive-site.xml </job-xml>
<configuration>
<property>
<name>oozie.hive.defaults</name>
<value>${nameNode}/user/${wf:user()}/${appRoot}/mysite/hive-default.xml</value>
</property>
<property>
<name>pool.name</name>
<value>${etlPoolName}</value>
</property>
<property>
<name>oozie.use.system.libpath</name>
<value>true</value>
</property>
<property>
<name>oozie.launcher.mapreduce.job.user.classpath.first</name>
<value>true</value>
</property>
<property>
<name>oozie.launcher.pool.name</name>
<value>${oozieLauncherPoolName}</value>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
</property>
</configuration>
<main-class>org.apache.spark.deploy.SparkSubmit</main-class>
<arg>--master</arg>
<arg>yarn</arg>
<arg>--num-executors</arg>
<arg>64</arg>
<arg>--executor-memory</arg>
<arg>8G</arg>
<arg>--driver-memory</arg>
<arg>2G</arg>
<arg>--executor-cores</arg>
<arg>5</arg>
<arg>--queue</arg>
<arg>testq</arg>
<arg>--class</arg>
<arg>Test</arg>
<arg>MyScala-0.0.1-SNAPSHOT.jar</arg>
<file>MyScala-0.0.1-SNAPSHOT.jar</file>
</java>
</action>
如何解决这个问题?
暂无答案!
目前还没有任何答案,快来回答吧!