如何使用spring数据建立hadoop分布式缓存

n1bvdmb6  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(255)

我不熟悉spring数据,并且尝试通过分布式缓存分发所有spring数据依赖项。但它不起作用,也找不到有用的资源。
application-context.xml中的我的配置:-

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans xmlns="http://www.springframework.org/schema/hadoop"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:beans="http://www.springframework.org/schema/beans"
       xmlns:hdp="http://www.springframework.org/schema/hadoop"
    xmlns:context="http://www.springframework.org/schema/context"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
    http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">
    <hdp:configuration>
      fs.defaultFS=${hdp.fs}
    </hdp:configuration>

    <hdp:job id="wordcountJob" 
         input-path="${wc.input.path}" 
         output-path="${wc.output.path}" 
         mapper="${wc.mapper}"
         reducer="${wc.reducer}"/>

    <hdp:cache create-symlink="true">
   <hdp:classpath value="/user/hadoop/DistributedCache/spring-data-hadoop-2.3.0.RELEASE.jar" />
   </hdp:cache>

    <hdp:job-runner id="runner" job-ref="wordcountJob" run-at-startup="true"/>
   <context:property-placeholder location="hadoop-configs.properties"/>
</beans:beans>

我试图将spring数据hadoopjar分发到每个节点。但到目前为止还不起作用。是这样做的吗?任何帮助都将不胜感激

dz6r00yl

dz6r00yl1#

你可以在作业配置中添加它。

<hdp:job id="MaxTempJob"
    input-path="${input.path}"
    output-path="${output.path}"
    jar-by-class="com.chanchal.MaxTemperature"
    mapper="com.chanchal.MaxTemperatureMapper"
    map-key="org.apache.hadoop.io.LongWritable"
    map-value="org.apache.hadoop.io.Text"
    libs="/lib/spring-data-hadoop-2.3.0.RELEASE.jar"
/>
``` `lib` 是项目的位置。

相关问题