导完历史数据后,会按分区在hdfs创建文件夹。
判断数据是否有遗漏日期数据
#!/bin/bash
# sh checkfiles.sh 2021-07-01 2021-07-07
#分区时间格式不同可自行更改下面
do_date=`date -d '-1 day' +%F`
endDay=`date +%F`
if [[ -n "$1" ]]; then
do_date=$1
fi
if [[ -n "$2" ]]; then
endDay=$2
fi
while [ $do_date != $endDay ]
do
hadoop fs -test -e /warehouse/origin_data/test/$do_date
if [ $? -eq 0 ] ;then
:
else
echo 'Error! Directory '$do_date' is not exist'
fi
do_date=`date -d "+1 day ${do_date}" +%F` #获取第二天的时间
done
执行