校验导完历史数据后hdfs上是否存在脚本

导完历史数据后,会按分区在hdfs创建文件夹。
判断数据是否有遗漏日期数据

#!/bin/bash
# sh checkfiles.sh 2021-07-01 2021-07-07
#分区时间格式不同可自行更改下面
do_date=`date -d '-1 day' +%F`
endDay=`date +%F`

if [[ -n "$1" ]]; then
    do_date=$1
fi

if [[ -n "$2" ]]; then
    endDay=$2
fi
while [ $do_date != $endDay ]
do
hadoop fs -test -e /warehouse/origin_data/test/$do_date
if [ $? -eq 0 ] ;then
        :
else
        echo 'Error! Directory '$do_date' is not exist'
fi
        do_date=`date -d "+1 day ${do_date}" +%F` #获取第二天的时间
done

执行

在这里插入图片描述

おすすめ

転載: blog.csdn.net/weixin_41772761/article/details/118539008