简答说一下hadoop的map-reduce编程模型？

Answer 1

首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合。 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出。 之后会进行一个partition分区操作，默认使用的是hashpartitioner，可以通过重写hashpartitioner的getpartition方法来自定义分区规则。 之后会对key进行进行sort排序，grouping分组操作将相同key的value合并分组输出。 在这里可以使用自定义的数据类型，重写WritableComparator的Comparator方法来自定义排序规则，重写RawComparator的compara方法来自定义分组规则。 之后进行一个combiner归约操作，其实就是一个本地段的reduce预处理，以减小后面shufle和reducer的工作量。 reduce task会通过网络将各个数据收集进行reduce处理，最后将数据保存或者显示，结束整个job。