- 所有相同Key的数据在一个Reducer内处理
- 尽量均匀的将数据分配到各个Reducer
TotalOrderPartitioner首先要解决的问题是,partitioner发生在map里,而每个mapper只处理它自己的一份split数据,它如何知道它所处理的数据在全局所有输入数据里的位置?
本文共 375 字,大约阅读时间需要 1 分钟。
TotalOrderPartitioner首先要解决的问题是,partitioner发生在map里,而每个mapper只处理它自己的一份split数据,它如何知道它所处理的数据在全局所有输入数据里的位置?
转载于:https://www.cnblogs.com/finallyliuyu/archive/2012/09/14/2684451.html