ide-dtwave指南(数栖平台)

hive建表字段的时间格式建议使用timestamp或string,date类型会出现异常,比如load文件时时间会变为null

sparksql才支持load数据到hive表中,hive2竟然不支持?

补数据有自依赖,多天时可以等前一天运行完再运行后一天,但是补下游不行,会导致多天并行,原因是补下游会有多个任务,无法判断这个操作是补下游导致的还是周期调度导致的,因为实例化后,在周期调度中,是不会判断前一天的状态的,总不能前一天有任务失败,后一天就不调度运行了吧,但是这在补数据中是需要这个逻辑的。

猜你喜欢

转载自www.cnblogs.com/1023linlin/p/9895454.html
今日推荐