spark对json使用配置单元自定义serde,但未找到类

m4pnthwp  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(335)

跟随https://github.com/esri/gis-tools-for-hadoop/wiki/aggregating-csv-data-%28spatial-binning%29 但是在spark上找不到serde的类。

ClassNotFoundException: Class com.esri.hadoop.hive.serde.JsonSerde not found

我的生成定义如下所示:https://github.com/geoheil/spatial-heatmaps/blob/master/esri/build.sbt 包括:

"com.esri.hadoop" % "spatial-sdk-hive" % esriVersion,
 "com.esri.hadoop" % "spatial-sdk-json" % esriVersion,

整个项目可以在github上找到:https://github.com/geoheil/spatial-heatmaps/tree/master/esri
应用程序通过运行 sbt console 以及粘贴代码(目前)

xfyts7mz

xfyts7mz1#

最好的方法是将用于hadoop示例的gis工具升级到用于hadoop v2的spatial framework和用于java v2的esri geometry-https://github.com/esri/gis-tools-for-hadoop/issues/66.
另一种解决方法是将hadoop的spatial framework降级到v1.2。
[披露:合作方]

相关问题