没有为模式wasb获取文件系统hdinsightMap缩减

xxb16uws 于 2021-05-29 发布在 Hadoop

关注(0)|答案(3)|浏览(255)

我正在azure hdinsight中运行一个简单的map reduce作业，下面是我们正在运行的命令：

java -jar WordCount201.jar wasb://hexhadoopcluster-2019-05-15t07-01-07-193z@hexanikahdinsight.blob.core.windows.net/hexa/CustData.csv wasb://hexhadoopcluster-2019-05-15t07-01-07-193z@hexanikahdinsight.blob.core.windows.net/hexa

获取以下错误：

java.io.IOException: No FileSystem for scheme: wasb

hadoop reduce Dictionary azure-hdinsight

来源：https://stackoverflow.com/questions/56161470/getting-no-filesystem-for-schema-wasb-hdinsight-map-reduce

3条答案

按热度按时间

7d7tgy0s1#

wasb是hdfs文件系统的 Package 器。我不确定你能不能在普通的java程序中使用它。你有没有任何你提到的参考/链接？
您可以尝试获取与custdata.csv文件等价的https文件。下面是我可以使用wasb在hdinsight集群上提交的spark作业的一个示例

spark-submit \
--class com.nileshgule.movielens.MovieRatingAnalysis \
--master yarn \
--deploy-mode cluster \
--executor-memory 1g \
--name MoviesCsvReader \
--conf "spark.app.id=MovieRatingAnalysis" \
wasb://hd-spark-cluster-2019@hdsparkclusterstorage.blob.core.windows.net/learning-spark-1.0.jar \
wasb://hd-spark-cluster-2019@hdsparkclusterstorage.blob.core.windows.net/ml-latest/ratings.csv \
wasb://hd-spark-cluster-2019@hdsparkclusterstorage.blob.core.windows.net/ml-latest/movies.csv

下面是一个使用等价的https uri传递相同文件的示例

spark-submit \
--class com.nileshgule.movielens.MovieRatingAnalysis \
--master yarn \
--deploy-mode cluster \
--executor-memory 1g \
--name MoviesCsvReader \
--conf "spark.app.id=MovieRatingAnalysis" \
https://hdsparkclusterstorage.blob.core.windows.net/hd-spark-cluster-2019/learning-spark-1.0.jar \
https://hdsparkclusterstorage.blob.core.windows.net/hd-spark-cluster-2019/ml-latest/ratings.csv \
https://hdsparkclusterstorage.blob.core.windows.net/hd-spark-cluster-2019/ml-latest/movies.csv

赞(0）回复(0）举报 2021-05-29

inn6fuwd2#

对于java，请使用jdk1.8及以下版本pom org.apache.hadoop hadoop-mapreduce-examples2.7.3scope>提供的org.apache.hadoop hadoop-mapreduce-client-common2.7.3提供的jdk.toolsjdk.toolsorg.apache.hadoop hadoop-common2.7.3提供的

赞(0）回复(0）举报 2021-05-29

toiithl63#

对于hadoop作业，请从root用户运行jar。登录到hdinsight后，运行sudo su-命令。然后创建一个文件夹，将jar放到该文件夹中并运行jar。

赞(0）回复(0）举报 2021-05-29