dataWorks常用调优参数

Posted 2022-12-04 上官沐雪

总结了一下dataWorks常用参数方便同学们使用：

## 查看项目数据类型版本。
setproject; 
#容错类型
set odps.sql.type.system.odps2=false;

## 允许全表扫描
set odps.sql.allow.fullscan=true;

##允许整个项目都可全表扫描
setproject odps.sql.allow.fullscan=true;

##文件被合并的最大阈值
set odps.sql.mapper.merge.limit.size=64;

##Map端输入的控制
set odps.sql.mapper.split.size=256;

##是否可以用 order by 
set  odps.sql.validate.orderby.limit=false;

##使用别名group by 1,2,3
set hive.groupby.position.alias=true;

## 合并小文件
set odps.merge.cross.paths=true;
set odps.merge.smallfile.filesize.threshold=128;
set odps.merge.max.filenumber.per.instance = 2000;

## 允许mapjoin
set odps.sql.allow.cartesian=true;

## 设置资源池
set odps.task.quota.preference.tag = 资源池名称


## 开启任务并行执行
SET odps.sql.hive.compatible =TRUE;

## 同一个sql允许并行任务的最大线程数
SET hive.exec.parallel=true;
SET hive.exec.parallel.thread.number=8;

## 打开MaxCompute 2.0数据类型。
set odps.sql.type.system.odps2=true; 

## 打开Decimal 2.0数据类型。
set odps.sql.decimal.odps2=true; 

## 打开Hive兼容模式。
set odps.sql.hive.compatible=true; 



##避免mysql表情报错 将编码设置成utf8mb4
jdbc:mysql://rm-bp134cn3l4znu6x4d.mysql.rds.aliyuncs.com:3306/jiuwu_bigdata?useUnicode=true&unicode=utf8mb4&com.mysql.jdbc.faultInjection.serverCharsetIndex=45

----数据安全
setproject;	
setproject odps.timemachine.retention.days=days;	--设置备份数据的保留天数。在此期间，您可以将当前版本恢复至任意一个备份的数据版本
show history for tables;	--查看当前项目内的表和处于备份状态的表信息，包括表名、表ID、创建时间和删除时间等，与show tables;命令不相同。	
show history for table <table_name>;	--查看指定表的备份数据，获取保留周期内备份的各个数据版本信息。	
show history for table table_name ('id'='xxxx');	--查看已删除表的备份数据，获取保留周期内备份的各个数据版本信息
restore table table_name ('id'='xxxxx');	--恢复已删除的表。
restore table table_name to LSN 'xxxx';		--恢复表至指定版本。


--修改表生命周期
alter table jiuwu_sc.ods_dewu_trade_sub_order_ds set lifecycle 61;


###mysqlUpsert
--如果uid是唯一键，那么当遇到uid=2时 会更新 total_price值
INSERT INTO jiuwu_balance_user_income01 (total_price,uid) VALUES(10, 2)
 ON DUPLICATE KEY UPDATE total_price=21