nosuchmethoderror:com.fasterxml.jackson.module.scala.deser.bigdecimaldeserializer

wtzytmuj 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(427)

sc.newAPIHadoopRDD 不断地给我错误。

val hBaseRDD = sc.newAPIHadoopRDD(hbase_conf, classOf[TableInputFormat], classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], classOf[org.apache.hadoop.hbase.client.Result]);

java.lang.NoSuchMethodError: ava.lang.NoSuchMethodError: com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class;
  at com.fasterxml.jackson.module.scala.deser.NumberDeserializers$.<init>(ScalaNumberDeserializersModule.scala:49)
  at com.fasterxml.jackson.module.scala.deser.NumberDeserializers$.<clinit>(ScalaNumberDeserializersModule.scala)
  at com.fasterxml.jackson.module.scala.deser.ScalaNumberDeserializersModule$class.$init$(ScalaNumberDeserializersModule.scala:61)
  at com.fasterxml.jackson.module.scala.DefaultScalaModule.<init>(DefaultScalaModule.scala:20)
  at com.fasterxml.jackson.module.scala.DefaultScalaModule$.<init>(DefaultScalaModule.scala:37)
  at com.fasterxml.jackson.module.scala.DefaultScalaModule$.<clinit>(DefaultScalaModule.scala)
  at org.apache.spark.rdd.RDDOperationScope$.<init>(RDDOperationScope.scala:82)
  at org.apache.spark.rdd.RDDOperationScope$.<clinit>(RDDOperationScope.scala)
  at org.apache.spark.SparkContext.withScope(SparkContext.scala:701)
  at org.apache.spark.SparkContext.newAPIHadoopRDD(SparkContext.scala:1132)

我正在尝试从hbase获取值。它在我的本地系统中运行得非常好，已经阅读了许多与此主题相关的其他答案，但是还没有任何帮助。
但是，每当我尝试在集群上运行它时，就会出现上面提到的错误。
已经完成了所有这些导入

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.client.HBaseAdmin
import org.apache.hadoop.hbase.{HTableDescriptor,HColumnDescriptor}
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.client.{Put,HTable}
import org.apache.hadoop.fs.Path
import org.apache.hadoop.hbase._
import org.apache.hadoop.hbase.client._
import org.apache.hadoop.hbase.util._
import org.apache.spark._
import org.apache.hadoop.hbase.client.{HBaseAdmin, Result}
import org.apache.hadoop.hbase.{ HBaseConfiguration, HTableDescriptor }
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.io.ImmutableBytesWritable

遵循安装的所有步骤以及
https://acadgild.com/blog/apache-spark-hbase/
请帮帮我。

Java hadoop scala apache-spark Jackson

来源：https://stackoverflow.com/questions/49321203/nosuchmethoderror-com-fasterxml-jackson-module-scala-deser-bigdecimaldeserializ

1条答案

按热度按时间

mwngjboj1#

我是在搜索和探索其他jar之后才发现问题的

My Hadoop Version 2.7.3
My Hbase Version 1.4.2

我使用的库仅为1.4.2版本，但直接将它们用作

--driver-class-path $HBASE_HOME

正如我提到的链接。但问题是它给了我一些jar不兼容的问题，并且多次出现同名jar。实际上，成功运行hbase所需的唯一依赖项是

<dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase</artifactId>
            <version>1.3.1</version>
            <type>pom</type>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.3.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>1.3.1</version>
        </dependency>

更新的hbase库没有实现hbase所需的类。在使用了这些版本的库之后，它对我来说非常好。

赞(0）回复(0）举报 2021-06-01

我来回答

nosuchmethoderror:com.fasterxml.jackson.module.scala.deser.bigdecimaldeserializer

1条答案

相关问题

热门标签

最新问答