oozie与spark java动作

3htmauhk  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(190)

我用java操作尝试了oozie和spark。
oozie版本4.1.0.3
spark版本1.2.1。
当我使用spark submit运行时,同样的代码工作正常。但从oozie来看,这是一个例外。
在java代码中,我有selection语句 using hiveContext.sal("select * from..") ,在获取收藏时。
注意:我在hive-site.xml中找不到where-found 1
例外情况:
java.lang.runtimeexception:java.lang.numberformatexception:对于输入字符串:“1s”
找到 workflow.xml 我使用如下

<action name="scala_java">
    <java>
    <job-tracker>${jobTracker}</job-tracker>
    <name-node>${nameNode}</name-node>
    <job-xml> ${nameNode}/user/${wf:user()}/${appRoot}/mysite/hive-site.xml </job-xml>
    <configuration>
    <property>
    <name>oozie.hive.defaults</name>
    <value>${nameNode}/user/${wf:user()}/${appRoot}/mysite/hive-default.xml</value>
    </property>
    <property>
    <name>pool.name</name>                                                
    <value>${etlPoolName}</value>
    </property>
    <property>                                             
    <name>oozie.use.system.libpath</name>                                             
    <value>true</value>
    </property>
    <property>                                               
    <name>oozie.launcher.mapreduce.job.user.classpath.first</name>
    <value>true</value>
    </property>
    <property>                                               
    <name>oozie.launcher.pool.name</name>                                             
    <value>${oozieLauncherPoolName}</value>
    </property> 
    <property>                                            
    <name>datanucleus.autoCreateSchema</name>                                            
    <value>false</value>
    </property>
    <property>                                          
    <name>datanucleus.fixedDatastore</name>                              
    </property>
    </configuration>
    <main-class>org.apache.spark.deploy.SparkSubmit</main-class>
        <arg>--master</arg>
        <arg>yarn</arg>
        <arg>--num-executors</arg>
        <arg>64</arg>
        <arg>--executor-memory</arg>
        <arg>8G</arg>
        <arg>--driver-memory</arg>
        <arg>2G</arg>
        <arg>--executor-cores</arg>
        <arg>5</arg>
        <arg>--queue</arg>
        <arg>testq</arg>                                       
        <arg>--class</arg>
        <arg>Test</arg>
        <arg>MyScala-0.0.1-SNAPSHOT.jar</arg>
        <file>MyScala-0.0.1-SNAPSHOT.jar</file>
       </java>
    </action>

如何解决这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题