环境信息:
sqoop 1.4.6
使用需求:
每天凌晨00:30按天把postgresql数据库中的数据导出到hdfs,并按年月日分级分目录存储
详细描述:
首先先写好sqoop脚本,在配置定时任务
sqoop脚本:
#!/bin/bash
source /etc/profile
today=$(date +%Y-%m-%d\ 00:00:00)
preday=$(date -d yesterday +%Y-%m-%d\ 00:00:00)
year=$(date -d yesterday +%Y)
month=$(date -d yesterday +%m)
day=$(date -d yesterday +%d)
filename1="/marinetraffic/voyage/$year/$month/$day"
filename2="/marinetraffic/position/$year/$month/$day"
echo "start-sqoop-voyage"
sqoop import --connect jdbc:mysql://192.168.10.43/haixinyuan --username root --password root --table vessel_voyage_history --compress --compression-codec gzip --where "send_time < '$today' and send_time >= '$preday'" --fields-terminated-by '\t' --target-dir $filename1 -m 1 &&
echo "done $preday"-"$today" &&
echo "start-sqoop-position" &&
sqoop import --connect jdbc:mysql://192.168.10.43/haixinyuan --username root --password root --table vessel_position --compress --compression-codec gzip --where "send_time < '$today' and send_time >= '$preday'" --fields-terminated-by '\t' --target-dir $filename2 -m 1 &&
echo "done $preday"-"$today"
解释:
第1行是刷新环境变量,使得在脚本中可以直接使用sqoop命令
第2,3行是获取当天零点和前一天零点的时间,用来在sqoop命令中拼接where条件获取指定数据
第4,5,6行是获取年月日信息用以拼接hdfs存储路径
第7,8行是拼接hdfs的存储路径
第10,13行是针对两个不同的表生成两个sqoop任务,参数配置请参照官网相关信息
配置完成后保存成sqoop.sh,赋给755权限
定时任务:
通过linux自带的crontab来设置
执行crontab -e进行配置
30 00 * * * /root/sqoop.sh > /root/sqoop.txt
该配置的意思是每天00:30分执行sqoop.sh脚本,并将执行结果追加到sqoop.txt上,其中sqoop.sh以及sqoop.txt相关的路径根据实际情况进行配置即可
保存后即可以定时执行