我目前正在使用hadoop服务器。现在，我必须用keras、tensorflow等库来训练神经网络。我知道已经安装了spark libs。我只想检查hadoop服务器上是否安装了其他lib。我们公司在一个远程位置有自己的hadoop服务器。我不允许安装任何新的libs，必须使用现有的libs。你能告诉我如何检查hadoop服务器上是否已经安装了库吗？
brgchamk1#
hadoop不是一个单一的服务器，您实际上需要检查所有的yarn节点管理器是否有任何库，因为spark就是在这里运行的。在一个大的集群里，这不是一件容易的事。。。当你提交一份有Spark的工作时，你可以自由添加你自己的 --files 以及 --archives 将任何依赖项引入类路径。这些标志将把文件本地复制到spark执行空间中，覆盖集群中已有的文件。默认情况下，spark只使用任何内置类，这些类通常包含在存档文件中。您需要检查spark配置文件以确定其位置，从hdfs下载它，然后提取它以确定任何可用的库。或者询问集群管理员安装了什么版本的spark，以及是否添加了任何额外的库（通常情况下，答案是“无”）。有了版本信息，你自己去下载spark并检查它的内容
--files
--archives
1条答案
按热度按时间brgchamk1#
hadoop不是一个单一的服务器，您实际上需要检查所有的yarn节点管理器是否有任何库，因为spark就是在这里运行的。在一个大的集群里，这不是一件容易的事。。。
当你提交一份有Spark的工作时，你可以自由添加你自己的
--files以及--archives将任何依赖项引入类路径。这些标志将把文件本地复制到spark执行空间中，覆盖集群中已有的文件。默认情况下，spark只使用任何内置类，这些类通常包含在存档文件中。您需要检查spark配置文件以确定其位置，从hdfs下载它，然后提取它以确定任何可用的库。
或者询问集群管理员安装了什么版本的spark，以及是否添加了任何额外的库（通常情况下，答案是“无”）。有了版本信息，你自己去下载spark并检查它的内容