找不到spark hbase mvn依赖项

sqougxex  于 2021-06-09  发布在  Hbase
关注(0)|答案(3)|浏览(511)

我想用spark读取hbase中的表。我添加了以下依赖项:

libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"

如hbase网站中所述,但无法解决依赖关系!!
我也试过不同的版本(1.2.0,1.1.2),但都没用。

piok6c0g

piok6c0g1#

在pom.xml中使用hbase spark依赖时,我也遇到了同样的问题

<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark -->
<dependency>
   <groupId>org.apache.hbase</groupId>
   <artifactId>hbase-spark</artifactId>
   <version>2.0.0-alpha4</version>
</dependency>

我使用以下步骤解决上述问题:
单击下图中的蓝色标记区域,从maven存储库下载hbase spark依赖jar。

根据所附的图像在/src/main/resources中创建一个lib文件夹。

将下载的jar复制到lib文件夹中,并在pom.xml中添加jar文件的系统路径
.

<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark -->
<dependency>
   <groupId>org.apache.hbase</groupId>
   <artifactId>hbase-spark</artifactId>
   <version>2.0.0-alpha4</version>
   <scope>system</scope>
   <systemPath>${project.basedir}/src/main/resources/lib/hbase-spark-2.0.0-alpha4.jar</systemPath>
</dependency>

希望对你有帮助。

l7wslrjt

l7wslrjt2#

看起来不像 hbase-spark 位于maven central中,这是将从中检索依赖项的默认存储库。
您需要配置构建管理工具(不清楚您是使用maven还是sbt)来使用正确的存储库。
从项目页面可以使用
https://repository.apache.org/content/repositories/snapshots 对于快照
https://repository.apache.org/content/repositories/releases 发布
不过,目前看来只有快照可用。
此外,正如作者在下面的评论中提到的,这行

libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"

实际上应该是

libraryDependencies += "org.apache.hbase" % "hbase-spark" % "2.0.0-SNAPSHOT"

在这种情况下不需要双精度%因为您不想将scala版本附加到工件名称。

p4tfgftt

p4tfgftt3#

添加此存储库
cloudera公司https://repository.cloudera.com/artifactory/cloudera-repos/
然后你可以通过maven下载:
org.apache.hbase hbase spark 1.2.0-cdh5.7.0

相关问题