我是Hadoop的新手，尝试使用流选项在windows 10本地使用Python开发一些作业。在仔细检查我的路径后，甚至我的程序，我遇到了一个异常，没有在任何页面中讨论。异常如下：
我将感激任何帮助。
x3naxklr1#
没有方案的文件系统错误来自以下任一原因：1.您的core-site.xml，fs.defaultFS值。这需要是hdfs://127.0.0.1:9000，例如，而不是您的Windows文件系统。也许您将其与namenode/datanode数据目录的hdfs-site.xml值混淆了。1.您的代码。对于Hadoop兼容的文件路径，您需要使用file://c:/path，而不是C:/，尤其是作为-mapper或-reducer传递的值而且，现在已经没有人真正编写mapreduce代码了，你可以在PySpark中运行类似的代码，而且你不需要Hadoop来运行它。
core-site.xml
fs.defaultFS
hdfs://127.0.0.1:9000
hdfs-site.xml
file://c:/path
C:/
-mapper
-reducer
1条答案
按热度按时间x3naxklr1#
没有方案的文件系统
错误来自以下任一原因：
1.您的
core-site.xml，fs.defaultFS值。这需要是hdfs://127.0.0.1:9000，例如，而不是您的Windows文件系统。也许您将其与namenode/datanode数据目录的hdfs-site.xml值混淆了。1.您的代码。对于Hadoop兼容的文件路径，您需要使用
file://c:/path，而不是C:/，尤其是作为-mapper或-reducer传递的值而且，现在已经没有人真正编写mapreduce代码了，你可以在PySpark中运行类似的代码，而且你不需要Hadoop来运行它。