ide-dtwave指南（数栖平台）

Posted 2021-01-16 1023linlin

hive建表字段的时间格式建议使用timestamp或string，date类型会出现异常，比如load文件时时间会变为null

 

sparksql才支持load数据到hive表中，hive2竟然不支持？

 

补数据有自依赖，多天时可以等前一天运行完再运行后一天，但是补下游不行，会导致多天并行，原因是补下游会有多个任务，无法判断这个操作是补下游导致的还是周期调度导致的，因为实例化后，在周期调度中，是不会判断前一天的状态的，总不能前一天有任务失败，后一天就不调度运行了吧，但是这在补数据中是需要这个逻辑的。