我们有一个从ftp服务器下载文件的应用程序。我们计划使用map reduce从ftp下载文件来提高效率。我的第一个问题是，使用map reduce真的可以提高效率吗？我们逻辑上认为，多个Map器和每个Map器中的一个读取通道实际上会使并行下载过程更快。但我们不确定是否有技术障碍。有什么建议吗？
brccelvz1#
如果您希望通过使用map reduce来提高下载速度，那么这并没有多大帮助。使用map reduce可以做的是，如果您有100gb的文件，并且希望有效地处理它们并找到特定单词的计数。但是即使是Mapreduce也不能直接处理ftp中可用的文件。为了让map reduce工作，您需要hadoop分布式文件系统（hdfs）中提供该文件。要理解什么是hadoop和什么不是hadoop，请阅读本文。
1条答案
按热度按时间brccelvz1#
如果您希望通过使用map reduce来提高下载速度，那么这并没有多大帮助。
使用map reduce可以做的是，如果您有100gb的文件，并且希望有效地处理它们并找到特定单词的计数。但是即使是Mapreduce也不能直接处理ftp中可用的文件。为了让map reduce工作，您需要hadoop分布式文件系统（hdfs）中提供该文件。
要理解什么是hadoop和什么不是hadoop，请阅读本文。