我想实现一个在namenode中运行的协调器服务。
因此，当一个Map任务完成任务时，它将向namenode发送一个反馈，通知“machine（x.x.x.x）has processed block id…”。。。属于文件。namenode将在表中维护这些信息（例如）。
我知道这类问题太笼统了，但实际上现在我被这个问题困住了。
我能在hadoop中实现这个函数吗？我该怎么做？谁能给我一些理想或者以前做过的类似的任务？
我想实现一个在namenode中运行的协调器服务。
因此，当一个Map任务完成任务时，它将向namenode发送一个反馈，通知“machine（x.x.x.x）has processed block id…”。。。属于文件。namenode将在表中维护这些信息（例如）。
我知道这类问题太笼统了，但实际上现在我被这个问题困住了。
我能在hadoop中实现这个函数吗？我该怎么做？谁能给我一些理想或者以前做过的类似的任务？
1条答案
按热度按时间mhd8tkvw1#
您需要一个接收通知并将其存储在某个地方的服务（可能是rest服务或mq），它不需要´不管此服务是在namenode上运行还是在集群外的服务器上运行。只是说namenode是集群中最关键的一点，我真的不知道´不建议使用它来部署任何附加服务。
然后，您将需要覆盖清理贴图´方法在Map任务完成后发送“map task completed”消息。
或者您可以尝试使用hadoopresourcemanagerapi来查看是否有您要查找的信息，只需轮询该api即可创建一个新的api。