dataWorks常用调优参数

Posted 2021-10-28 上官沐雪

总结了一下dataWorks常用参数方便同学们使用：

## 查看项目数据类型版本。
setproject; 


## 允许全表扫描
set odps.sql.allow.fullscan=true;

##允许整个项目都可全表扫描
setproject odps.sql.allow.fullscan=true;

##文件被合并的最大阈值
set odps.sql.mapper.merge.limit.size=64;

##Map端输入的控制
set odps.sql.mapper.split.size=256;

##是否可以用 order by 
set  odps.sql.validate.orderby.limit=false;

##使用别名group by 1,2,3
set hive.groupby.position.alias=true;

## 合并小文件
set odps.merge.cross.paths=true;
set odps.merge.smallfile.filesize.threshold=128;
set odps.merge.max.filenumber.per.instance = 2000;

## 允许mapjoin
set odps.sql.allow.cartesian=true;

## 设置资源池
set odps.task.quota.preference.tag = 资源池名称


## 开启任务并行执行
SET odps.sql.hive.compatible =TRUE;

## 同一个sql允许并行任务的最大线程数
SET hive.exec.parallel=true;
SET hive.exec.parallel.thread.number=8;

## 打开MaxCompute 2.0数据类型。
set odps.sql.type.system.odps2=true; 

## 打开Decimal 2.0数据类型。
set odps.sql.decimal.odps2=true; 

## 打开Hive兼容模式。
set odps.sql.hive.compatible=true;