在做作业。在我的本地系统中运行Map器和reducer代码进行得很顺利，并得到了所需的输出。我觉得Hadoop有问题。
这是我的Linux终端的屏幕截图。只是顶部和底部。topbottom
我的朋友告诉我检查Hadoop文件夹中的日志。第一个是这样的：
2023年9月12日下午7：58：26 com.sun.jersey.guice.spi.container. GuiceExclusive ProviderFactory register INFO：正在将org.apache.hadoop.mapreduce.v2.app.webapp.JAXBContextResolver注册为提供程序类2023年9月12日下午7：58：26 com.sun.jersey.guice.spi.container. GuiceContextProviderFactory注册信息：将org.apache.hadoop.yarn.webapp. GenericExceptionFactory注册为提供程序类2023年9月12日下午7：58：26 com.sun.jersey.guice.spi.container. GuiceExceptionFactory注册信息：正在将org.apache.hadoop.mapreduce.v2.app.webapp.AMWebServices注册为根资源类2023年9月12日下午7：58：26 com.sun.jersey.server.impl.application.WebApplicationImpl _initiate信息：启动泽西岛应用程序，版本'泽西岛：1.19 02/11/2015 03：25 AM' Sep 12，2023 7：58：26 PM com.sun.jersey.guice.spi.container. GuiceExcellentProviderFactory getExcellentProvider INFO：将org.apache.hadoop.mapreduce.v2.app.webapp.JAXBContextResolver绑定到GuiceManagedProviderProvider，范围为“Singleton”2023年9月12日下午7：58：26 com.sun.jersey.guice.spi.container。GuiceProviderFactory getProviderProvider INFO：将org.apache.hadoop.yarn.webapp. GenericExceptionException绑定到GuiceManagedExceptionProvider，范围为“Singleton”2023年9月12日下午7：58：26 com.sun.jersey.guice.spi.container. GuiceExceptionProvider Factory getExceptionProvider INFO：将org.apache.hadoop.mapreduce.v2.app.webapp.AMWebServices绑定到范围为“PerRequest”log4j的GuiceManagedAppendentProvider：WARN找不到logger（org.apache.hadoop.mapreduce.v2.app.MRAppMaster）的附加器。log4j：WARN请正确初始化log4j系统。log4j：WARN更多信息请访问http://logging.apache.org/log4j/1.2/faq.html#noconfig。
最后一个是空的。其他人都有这个：
/usr/bin/env：'python'：没有这样的文件或目录
Python安装完毕。然而，这是我第一次在我的虚拟机上运行Hadoop作业。我按照我的教授提供的安装，所以我真的不知道出了什么问题。
1条答案
按热度按时间ua4mk5z41#
你可能在文件的顶部有
#!/usr/bin/env python。该错误是指
python二进制文件不在操作系统PATH上（即使它可能已安装），因此无法使用env命令进行设置。这个文件标题不是必须的，只要你能把
python可执行文件传递给Mapreduce命令。然而，在Spark / PySpark或
mrjob库创建之后，再也没有人真正像这样编写mapreduce了，所以不幸的是，我认为你正在学习过时的信息。log4j：WARN请正确初始化log4j系统
这是一个单独的问题，但您绝对应该尝试修复它以调试其他YARN问题。