mongodb备份每一天的数据

需求：把mongodb里面存储6个月的数据备份到本地，一每天的来备份，方便对备份管理。而后mongo保留一周的数据（优化查询速度，能够用mongo的ttl来实现，可是个人业务场景不太适合用ttl索引）。而后crontab备份天天的数据，控制备份的数据只在6个月的范围以内。

第一步：先把mongo里面6个月的数据一每天的备份出来（人工操做会累死，写个脚本）

import os
from datetime import datetime, timedelta

username = '帐号'
password = '密码'
nowDate = datetime.today().date()
lastDate = nowDate - timedelta(days=185)

while nowDate != lastDate:
startDate, endDate = lastDate, lastDate + timedelta(days=1)
dirName = startDate.strftime("%Y-%m-%d")

startDate = startDate.strftime("%Y-%m-%d %H:%M:%S")
endDate = endDate.strftime("%Y-%m-%d %H:%M:%S")

lastDate += timedelta(days=1)
command = 'mongodump -d pusher -c records -q \'{\"$and\":[{\"create_time\":{\"$lt\":"%s"}},{\"create_time\":{\"$gt\":"%s"}}]}\' ' \
'--gzip --archive=/home/deploy/mongobackup/"%s".archive -u "%s" -p "%s"' %(endDate, startDate, dirName, username, password)

os.system(command)

备份完以后你的目录下面应该是这样子的

 

能够用如下命令来测试下，测试图我不上了

（1）先登陆mongo， 在use相应的数据库

mongo --port 27017 -u "" -p "" --authenticationDatabase ""
use "your db"

（2）查询某一天的数据

db.dbname.find({"$and":[{"create_time":{"$gt":"2019-01-21 00:00:00"}},{"create_time":{"$lt":"2019-01-22 00:00:00"}}]})

或者直接统计：db.dbname.count({"$and":[{"create_time":{"$gt":"2019-01-21 00:00:00"}},{"create_time":{"$lt":"2019-01-22 00:00:00"}}]})

（3）删除这一天的数据

db.dbname.remove({"$and":[{"create_time":{"$gt":"2019-01-21 00:00:00"}},{"create_time":{"$lt":"2019-01-22 00:00:00"}}]})

（4）恢复某一天的数据

mongorestore -u "" -p "" --authenticationDatabase dbname --nsInclude db.collection  --gzip --archive=2019-01-21/

# db.collection  --》 数据库.表名
# 这里使用了--gzip压缩， 不压缩文件太大了， 不过压缩的话会消耗必定的性能，看我的须要

（5）测试一下数据有没有恢复（重复第二步的命令）

db.dbname.find({"$and":[{"create_time":{"$gt":"2019-01-21 00:00:00"}},{"create_time":{"$lt":"2019-01-22 00:00:00"}}]})

或者直接统计：db.dbname.count({"$and":[{"create_time":{"$gt":"2019-01-21 00:00:00"}},{"create_time":{"$lt":"2019-01-22 00:00:00"}}]})

 

第二步：写天天备份的脚本，第一步脚本通常只跑一次，这个脚本才是用来维护的。

import os
from datetime import datetime, timedelta

username = ''
password = ''

endDate = datetime.today().date()
startDate = endDate - timedelta(days=1)
dirName = startDate.strftime("%Y-%m-%d")

startDate = startDate.strftime("%Y-%m-%d %H:%M:%S")
endDate = endDate.strftime("%Y-%m-%d %H:%M:%S")

command = 'mongodump -d db -c collection -q \'{\"$and\":[{\"create_time\":{\"$lt\":"%s"}},{\"create_time\":{\"$gt\":"%s"}}]}\'   ' \
          '-o  "%s" -u "%s" -p "%s"' %(endDate, startDate, dirName, username, password)

os.system(command)

 

第三步：确保备份数据的可用性以后，咱们就开始删除mongo里面的数据了，只保留最近一个星期的

 这一步能够写成脚本，contrab去天天执行

import os
from datetime import datetime, timedelta

username = ''
password = ''

queryDate = datetime.today().date() - timedelta(days=7)
queryDate = queryDate.strftime("%Y-%m-%d %H:%M:%S")

command = 'mongo dbname -u"%s" -p"%s" --eval \'db.records.remove({\"create_time\":{\"$lt\":"%s"}})\'' %(username, password, queryDate)

os.system(command)

 

总结：

1.先把第一个脚本运行一遍，生成每一天的备份文件。

2.把第二，第三个脚本整合在一块儿，用contrab天天执行。(mongoBackupByday.py)

import os
from datetime import datetime, timedelta

username = ''
password = ''

# 1. 先备份前一天的数据

endDate = datetime.today().date()
startDate = endDate - timedelta(days=1)
dirName = startDate.strftime("%Y-%m-%d")

startDate = startDate.strftime("%Y-%m-%d %H:%M:%S")
endDate = endDate.strftime("%Y-%m-%d %H:%M:%S")

command = 'mongodump -d dbname -c collection -q \'{\"$and\":[{\"create_time\":{\"$lt\":"%s"}},{\"create_time\":{\"$gt\":"%s"}}]}\'   ' \
          '-o  "%s" -u "%s" -p "%s"' %(endDate, startDate, dirName, username, password)

os.system(command)


# 2. 在清理7天以前的数据
queryDate = datetime.today().date() - timedelta(days=7)
queryDate = queryDate.strftime("%Y-%m-%d %H:%M:%S")
command = 'mongo dbname -u"%s" -p"%s" --eval \'db.collection.remove({\"create_time\":{\"$lt\":"%s"}})\'' %(username, password, queryDate)

os.system(command)

设置crontab

crontab -e

 

还有一个任务就是，控制备份文件的数量，contrab job不断备份，文件夹下面仍是只保留6个月的备份文件

#!/bin/bash

# 定义要检测的文件夹
BACK_DIR=/home/deploy/mongobackup

# 设置要保存的文件个数
SAVE_COUNT=185

cd $BACK_DIR

# 1.判断文件个数
count=$(ls -l | grep "^-" | wc -l)

delcount=$[$count - $SAVE_COUNT]

# 2.是否进行删除
if [ $delcount -gt 0 ];then
    # 获取时间最久的文件名称
    filename=$(ls -tr | head -n $delcount)
    for each in ${filename[*]}
    do
        rm -rf $each
        echo "deling file is" $each
    done
fi

 

也加到进去crontab 里面，每周一次

 

但愿这篇文章能够帮助到有须要的朋友~