假设我有一个从hadoop中提取大量数据的客户端脚本。hadoop中的哪些功能使我能够查看检索到的数据并请求（指出）缺失的数据部分，从而发出特定的请求来读取缺失的部分？此功能是datanode map还是reduce的一部分？谢谢
kpbpu0081#
没有直接的方法可以做到这一点。一旦您的脚本提取了数据并将其写入hdfs，它就只是另一段数据了。它与你的其他数据无关。你必须把它和你想比较的数据一起读，然后自己写一些符合你需要的比较逻辑来做比较。首先，您可以查看多个输入。p、 s：如果你能找到适合你的东西，请与我们分享。它会很有价值的。非常感谢。
1条答案
按热度按时间kpbpu0081#
没有直接的方法可以做到这一点。一旦您的脚本提取了数据并将其写入hdfs，它就只是另一段数据了。它与你的其他数据无关。你必须把它和你想比较的数据一起读，然后自己写一些符合你需要的比较逻辑来做比较。
首先，您可以查看多个输入。
p、 s：如果你能找到适合你的东西，请与我们分享。它会很有价值的。非常感谢。