shell中判断hive表分区是否存在

• 判断当日分区是否有数据,若是有执行任务,没有就退出
• 主要思路是若是分区存在且有数据,hdfs文件系统下的对应表分区下会有part-m-00000这个文件(不必定是这个名字,具体要用hadoop fs -ls /user/hive/warehouse/ 查看)

temp0="part-"         # 这里只取了"part-"这个字段  
temp1=`hadoop fs -ls /user/hive/warehouse/test.db/table_name/dt=$dt`  
# 这里用了grep来找出temp1字符串中是否有temp0("part-")这个子串  
result=$(echo $temp1 | grep "${temp0}")       
if [[ "$result" != "" ]]  
then  
  echo "$dt 有数据,开始任务"  
  hive -f /home/test.sql -hivevar dt=$dt //执行相应的sql文件或hql语句  
else  
  echo "$dt 没有数据,终止任务"  
fi

• temp1中的字段以下:

Found 3 items -rwxrwxrwt 2 root supergroup 0 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/_SUCCESS -rwxrwxrwt 2 root supergroup 76007252 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00000 -rwxrwxrwt 2 root supergroup 55380546 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00001 -rwxrwxrwt 2 root supergroup 40552007 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00002 -rwxrwxrwt 2 root supergroup 35753890 2018-12-15 03:58