下面,将介绍如何利用Pig实现按多个值排序,并取每个组的前n个值。例如,取每个商品曝光前2的搜索词。
1. 文本数据
sku1,query11,pos11,50
sku1,query12,pos12,40
sku1,query13,pos13,20
sku2,query21,pos21,40
sku2,query22,pos22,30
sku3,query31,pos31,50
sku3,query32,pos32,20
sku3,query33,pos33,10
sku3,query43,pos43,5
2. 本地运行Pig
如果,脚本运行所需内存不足,则修改Pig内存大小:export PIG_HEAPSIZE=4192。再以本地模式运行Pig
pig -x local
3. 脚本程序
records = LOAD 'user.txt' USING PigStorage(',') AS (sku:chararray,query:chararray,pos:chararray,pv:int);
grpd = GROUP records BY sku;
top3 = foreach grpd {
sorted = order records by pv desc;
top = limit sorted 2;
generate group, flatten(top);
};
4. 运行结果