pig分组统计例子

Posted 2021-02-10 dreamboy

1.选取数据样本
在pig安装目录下有一个文件tutorial/data/excite-small.log，其中的数据分为3列，中间用制表符分隔，第一列为用户ID，第二列为Unix时间戳，第三列为查询记录。
首先从该文件选取40条记录作为样本，另存为文件pig-testdata.log，上传到目录/zwy/soft中，如下：

2A9EABFB35F5B954    970916105432    +md foods +proteins
BED75271605EBD0C    970916001949    yahoo chat
BED75271605EBD0C    970916001954    yahoo chat
BED75271605EBD0C    970916003523    yahoo chat
BED75271605EBD0C    970916011322    yahoo search
BED75271605EBD0C    970916011404    yahoo chat
BED75271605EBD0C    970916011422    yahoo chat
BED75271605EBD0C    970916012756    yahoo caht
BED75271605EBD0C    970916012816    yahoo chat
BED75271605EBD0C    970916023603    yahoo chat
BED75271605EBD0C    970916025458    yahoo caht
BED75271605EBD0C    970916025516    yahoo chat
BED75271605EBD0C    970916030348    yahoo chat

2.输入下面命令开启grunt shell，进入pig本地模式

pig -x local

3.在Grunt Shell中输入如下命令，将数据装载到一个称为log的别名中。

grunt>log = LOAD '/zwy/soft/pig-testdata.log' AS (user,time,query);

注意：等号左右需要有空格，否则命令不起作用。

4.查看别名log的4个元组

grunt>lmt = LIMIT log 4;
grunt>DUMP lmt;

返回结果如下：

5.对log进行分组，并输出分组后信息

grunt>grpd = GROUP log BY user;
Grunt>cntd = FOREACH grpd GENERATE group,COUNT(log);
Grunt>DUMP cntd;

输出结果如下：