1.预先加载本地的输入文件 2.经过MAP处理产生中间结果 3.经过shuffle将key相同的中间结果分配到同一个节点去处理 4.Reduce处理产生结果输出 5.将结果保存在hdfs上
MAP阶段所做工作:
在map阶段: 1.使用job.setINputFormatClass定义的InputFormat将输入的 数据集分割成小数据块splites; 2.同时InputFormat提供一个RecordReder的实现。默认的是TextInputFormat, 它提供的RecordReader会将文本的一行的偏移量(也就是行号)作为key,这一行的文本作为value。 3.调用自定义Map的map方法,将一个个键值对输入给自定义的Map的map方法; 4.按照自定义的Map的输出key类、输出value类生成一个List.Partitioner阶段所做工作:
在map阶段的最后: 1.会先调用job.setPartitionerClass设置的类对这个List进行分区,每个分区映射到一个reducer; 2.每个分区内调用job.setSortComparatorClass设置的key比较函数类排序; 3.如果没有通过 job.setSortComparatorClass设置key比较函数类,则使用可以的实现的compareTo方法Shuffle处理过程:
将每个分区根据一定的规则(默认是键相同),分发到reducer处理Sort处理过程:
在reduce阶段,reducer接收到所有映射到这个reducer的map输出后: 1.调用job.setSortComparatorClass设置的key比较函数类对所有键值对排序; 2.然后开始构造一个key对应的value迭代器,这时就要用到分组, 使用job.setGroupingComparatorClass设置的分组函数类, 只要这个比较器比较的两个key相同,他们就属于同一个组,它们的value放在一个value迭代器中Reduce处理过程:
最后就是进入Reducer的reduce方法,reduce方法的输入是所有的key和它的value迭代器, 在reduce中将key相同的迭代器中的value值累加,同样注意输入与输出的类型必须与自定义的Reducer中声明的一致。