Pig实现order by limit功能

xiaoxiao2025-04-27  12

下面,将介绍如何利用Pig实现按多个值排序,并取每个组的前n个值。例如,取每个商品曝光前2的搜索词。

1. 文本数据

sku1,query11,pos11,50 sku1,query12,pos12,40 sku1,query13,pos13,20 sku2,query21,pos21,40 sku2,query22,pos22,30 sku3,query31,pos31,50 sku3,query32,pos32,20 sku3,query33,pos33,10 sku3,query43,pos43,5

2. 本地运行Pig

   如果,脚本运行所需内存不足,则修改Pig内存大小:export PIG_HEAPSIZE=4192。再以本地模式运行Pig

pig -x local

3. 脚本程序

records = LOAD 'user.txt' USING PigStorage(',') AS (sku:chararray,query:chararray,pos:chararray,pv:int); grpd = GROUP records BY sku; top3 = foreach grpd { sorted = order records by pv desc; top = limit sorted 2; generate group, flatten(top); };

4. 运行结果

转载请注明原文地址: https://www.6miu.com/read-5029217.html

最新回复(0)