MapReduce核心思想

x33g5p2x  于2020-09-30 发布在 MapReduce  
字(0.7k)|赞(0)|评价(0)|浏览(442)

1. MapReduce计算框架优缺点

优点:

  • MapReduce 易于编程 Map任务与Reduce任务基于接口实现,用户可以关注与业务逻辑处理而忽略底层计算逻辑。
  • 良好的扩展性 计算资源不足时,通过增加机器的方式横向扩展
  • 高容错性 MapReduce Framework的高容错性针对于节点(master,slaves)容错性和计算任务(map Task和reduce Task)的高可用和错误处理机制
  • 适合PB级以上海量数据的离线处理

缺点

  • 无法进行实时计算 一般MR用于+1天时效的处理,或使用Kafuka对接数据仓库,更新/写入HDFS文件,通过调度任务实现准实时
  • 不擅长流式计算 流式计算的输入数据是动态的,而MapReduce的输入数据集是静态的,不能 动态变化
  • 不擅长DAG(有向图)计算 对于机器学习算法或统计学习算法需要大量的迭代计算,MapReduce作业 的输出结果都会写入到磁盘,进行这类计算时需要大量的磁盘IO导致任务效率低下

2. 核心思想

1)MR分布式的运算程序往往需要分成至少 2 个阶段。

2)第一个阶段的 MapTask 并发实例,完全并行运行,互不相干。

3)第二个阶段的 ReduceTask 并发实例互不相干,但是他们的数据依赖于上一个阶段的所有 MapTask 并发实例的输出。

4)MapReduce 编程模型只能包含一个 Map 阶段和一个 Reduce 阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce程序,串行运行。

3. MapReduce进程

一个完整的MapReduce程序在分布式运行时有三类实例进程:

  • MrAppMaster:负责整个程序的过程调度及状态协调
  • MapTask:负责Map阶段的整个数据处理流程
  • ReduceTask:负责Reduce阶段的整个数据处理流程

相关文章

最新文章

更多