我是hadoop的新手，尝试通过他们网站上的例子来探索它。所以这听起来像是一个非常基本的问题。
在eclipseide中，我只是创建了一个java项目，导入了必要的hadoopjar和核心jar。然后我运行了一个 WordCount 下载的示例，并成功运行。
但是，我没有设置任何hadoop安装或单节点集群。
因此，即使没有在我的系统中配置hadoop，我也无法理解该作业如何运行。
我最初的理解是，我需要安装hadoop，然后在ubuntulinux上运行hadoop之类的东西，但显然没有必要。为什么？
2条答案
按热度按时间eqzww0vc1#
这种情况可能发生在作业仅检测本地文件系统的情况下，作业使用localfilesystem api与本地文件系统中的文件进行交互。
请参考下面的链接，使用minidfscluster对hadoop hdfs进行单元测试
这是我们在dev环境中开发的mapreduce/hdfs代码的单元测试选项之一。
ccrfmcuu2#
很可能您运行了一个内部测试或类似的东西（hadoop配置可以在内存中生成，用于测试目的）。您应该安装一个单节点集群，并开始做实际的事情，就像您之前引用的指南中的那样。记住也要查看官方的hadoop站点。