会飞的猪（Pig）

Posted 2020-09-14 jzdwajue

猪会飞么?

提高pig的性能,让猪飞起来有例如以下办法：
1. 尽早地并常常地进行过滤
2. 尽早地并常常地进行映射
3. 正确并合理地使用Join
4. 选择正确的数据类型，合适的并行值
5. 调整pig 的性能属性：pig.cachedbag.menusage 和pig.skewedjoin.reduce.memusage
6. 对中间结果进行压缩

Describe 命令会显示脚本中指定关系的模式。

explain 能够深入到pig内部看怎样将用户的脚本编译成MapReduce任务的。

illustrate 对用户的数据进行抽样而且对抽样的数据运行用户的脚本。

在提交的hadoop集群运行之前，pig须要消耗几秒钟来解析脚本。这些M/R任务真正运行时才会显示在JobTracker页面上。

PigUnit提供了一个集成到JUnit中的单元測试框架，在0.8版本号引入的。

Hadoop减少了IO约束但并没有消除，假设map任务的个数两倍于实际的槽位来运行，那就将消耗两倍于平均map过程运行时间来运行全然部的map任务，假设再额外添加一个map任务。所消耗时间将添加到平均时间的3倍。

shuffle数据量大小是指从map任务转移到reduce任务的数据量大小。一般须要m X r 个网络连接。