spark与hdfs无纱

vmpqdwk3  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(188)

我正在尝试为spark配置hdfs。简单运行 spark-sub mit with --master spark://IP:7077 --deploy-mode cluster.... 结果是

16/04/08 10:16:55 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

然后工作就结束了。我下载并使用了hadoop集群,仅用于测试一台机器。我还设置了环境变量,尽管我认为我忘记了其中的一些。事实上我设定了:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/spark/bin  
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/

你能帮我一下吗?
我跟着它:http://www.ccs.neu.edu/home/cbw/spark.html

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题