Skip to content

Latest commit

 

History

History
14 lines (9 loc) · 615 Bytes

21、Shuffle机制之Combiner合并.md

File metadata and controls

14 lines (9 loc) · 615 Bytes

Combiner合并机制

  • Combiner合并也属于Shuffle机制
  • Combiner的父类是Reducer
  • CombinerReducer的区别在于运行时的位置
    • Combiner是在每一个MapTask所在的节点运行的
    • Reducer接收全局所有Mapper的输出结果
  • Combiner的意义就是对每一个MapTask的输出进行局部汇总,主要目的是为了减小网络的传输量
  • 并不是所有的场景都能适用Combiner,一般主要用于求和操作

实现Combiner的步骤就是继承Reducer,最后在Driver类通过setCombinerClass(类.class)设置进去就好了