对于在yarn（yarn客户机）上运行的spark作业，是否可以使用hdfs中的jar指定类路径有点像map reduce的工作：
DistributedCache.addFileToClassPath(Path file, Configuration conf, FileSystem fs)
bihw5rsg1#
从sparkcontext文档：def addjar（路径：string）：单位为将来在此sparkcontext上执行的所有任务添加jar依赖关系。传递的路径可以是本地文件、hdfs（或其他支持hadoop的文件系统）中的文件、http、https或ftpuri，或者每个工作节点上的文件的local:/path。所以我认为在sparkcontext初始化中添加这个就足够了：
sc.addJar("hdfs://your/path/to/whatever.jar")
如果您只想添加一个文件，有一个相关的 addFile() 方法。更多信息请参见文档。
addFile()
1条答案
按热度按时间bihw5rsg1#
从sparkcontext文档：
def addjar（路径：string）：单位
为将来在此sparkcontext上执行的所有任务添加jar依赖关系。传递的路径可以是本地文件、hdfs（或其他支持hadoop的文件系统）中的文件、http、https或ftpuri，或者每个工作节点上的文件的local:/path。
所以我认为在sparkcontext初始化中添加这个就足够了：
如果您只想添加一个文件，有一个相关的
addFile()方法。更多信息请参见文档。