我试着运行spark（1.6.0）应用程序 com.databricks.spark.csv jar在客户机模式下从eclipse加载csv文件。它在扔东西 CSVRelatio$annonfunc$func not found 例外。通过设置
spark.hadoop.yarn.application.classpath中的属性 SparkConf .
我的问题是 spark.hadoop.yarn.application.classpath spark的官方文件中没有列明财产。那么我在哪里可以找到所有这些属性呢？我知道这是愚蠢的问题，但有许多初学者谁参考官方文件(https://spark.apache.org/docs/1.6.0/configuration.html)他们根本不知道这些特性。
1条答案
按热度按时间wi3ka0sx1#
没有列出，因为没有Spark特性。
spark.prefix只被使用，所以spark认识到，这些应该被解析，并放入org.apache.hadoop.conf.Configuration.在哪里查找文档？您应该检查hadoop文档中相应的组件。例如Yarn：https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
您还不应该知道spark有自己的类路径相关属性，包括：
spark.jarsspark.packagesspark.driver.extraClassPath/spark.executor.extraClassPath....