我可以在不设置hdfs的情况下运行hadoop流应用程序吗？我想在本地机器上测试一个hadoop流应用程序。特别是，我尝试按照本教程的说明进行操作，但是我不想在dfs上为输入/输出指定路径，而是想指定一个本地路径。hadoop-streaming.jar的帮助页面声明 -input/-output 值在dfs上。我是不是错过了一个选择？
-input/-output
jogvjijk1#
流脚本从stdin读取并写入stdout。以下脚本可用于从本地文件系统读取流脚本。请注意，它不是以分布式方式工作的，主要用于脚本的单元测试。cat./input.txt |./word | count | map.py | sort-k1,1 |./word | cound | reduce.py>output.txt
1条答案
按热度按时间jogvjijk1#
流脚本从stdin读取并写入stdout。以下脚本可用于从本地文件系统读取流脚本。请注意，它不是以分布式方式工作的，主要用于脚本的单元测试。
cat./input.txt |./word | count | map.py | sort-k1,1 |./word | cound | reduce.py>output.txt