我正在尝试为spark配置hdfs。简单运行 spark-sub mit with --master spark://IP:7077 --deploy-mode cluster....
结果是
16/04/08 10:16:55 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
然后工作就结束了。我下载并使用了hadoop集群,仅用于测试一台机器。我还设置了环境变量,尽管我认为我忘记了其中的一些。事实上我设定了:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/spark/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/
你能帮我一下吗?
我跟着它:http://www.ccs.neu.edu/home/cbw/spark.html
暂无答案!
目前还没有任何答案,快来回答吧!