博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
[hadoop]备份
阅读量:4708 次
发布时间:2019-06-10

本文共 375 字,大约阅读时间需要 1 分钟。

它将每个Key的HashCode对总reducer数取模,转换成partion index。
个人理解这样做有两个目的:
  • 所有相同Key的数据在一个Reducer内处理
  • 尽量均匀的将数据分配到各个Reducer
但毫无疑问,HashPartitioner不能保证它的Partion之间的有序。
为了保证Partion之间的有序,TeraSort定义了一个TotalOrderPartitioner。

 

TotalOrderPartitioner首先要解决的问题是,partitioner发生在map里,而每个mapper只处理它自己的一份split数据,它如何知道它所处理的数据在全局所有输入数据里的位置?

转载于:https://www.cnblogs.com/finallyliuyu/archive/2012/09/14/2684451.html

你可能感兴趣的文章
jQuery EasyUI实现关闭全部tabs
查看>>
iOS项目之WKWebView替换UIWebView相关
查看>>
Lambda表达式效率问题
查看>>
【转载】iOS 设置Launch Image 启动图片(适用iOS9)
查看>>
最快得到MYSQL两个表的差集
查看>>
UML类图关系
查看>>
清理Visual Studio打开的项目和文件、查找和最近引用组件痕迹
查看>>
正则表达式速查表
查看>>
项目开源-基于ASP.NET Core和EF Core的快速开发框架
查看>>
UVA 580 - Critical Mass(简单DP)
查看>>
iOS应用日志:开始编写日志组件与异常日志
查看>>
Linux通过NFS实现文件共享
查看>>
15模块-Maps【管理地图控件】
查看>>
runtime
查看>>
VS2008中宽字节和普通字节的使用
查看>>
父类 子类 构造方法
查看>>
vs2015下编译duilib的几个问题
查看>>
获取周的日期范围
查看>>
css案例学习之盒子模型
查看>>
postMan模拟get和post请求,支持局域网和外网
查看>>