mapreduce体系结构

qaxu7uf2  于 2021-06-01  发布在  Hadoop
关注(0)|答案(2)|浏览(364)

我已经创建了一个图表来表示mapreduce框架是如何工作的。有人能证实这是一个准确的表述吗?

p、 在本例中,我们还对图中所示的系统组件感兴趣。

rqdpfwrv

rqdpfwrv1#

jobtracker、tasktracker和masternode在hadoop2+w/yarn中不是真实的东西。作业提交给resourcemanager,后者在其中一个NodeManager上创建applicationmaster。
“从属节点”通常也是您的数据节点,因为它是hadoop的核心租户—将处理移到数据上。
“receive the data”箭头是双向的,从namenode到datanode没有箭头。1) 从namenode获取文件位置,然后将位置发送回客户端。2) 客户机(即在datanode或“从属节点”上运行的nodemanager进程)将直接从datanode本身读取数据-datanode不直接知道其他从属节点存在于何处。
这就是说,hdfs和Yarn通常都是同一个“泡泡”的一部分,所以你的“hdfs”标签圈应该围绕着所有东西。

dzhpxtsq

dzhpxtsq2#

mapreduce体系结构在执行作业的不同阶段工作。以下是运行mapreduce应用程序的不同阶段-
第一阶段涉及用户将数据写入hdfs以进行进一步处理。这些数据以块的形式存储在hdfs中的不同节点上。
现在客户机提交其mapreduce作业。
然后,资源管理器启动一个容器来启动appmaster。
应用程序主机向资源管理器发送资源请求。
资源管理器现在通过节点管理器在从属服务器上分配容器。
appmaster启动容器中的相应任务。
作业现在已在容器中执行。
处理完成后,资源管理器将释放资源。

来源:cloudera

相关问题