mongodb增量/全量备份脚本的实现详解

2023-09-07 23:09:05 67

前言

mongodb备份脚本，可以全量或增量进行备份，两年前所写，目前网上mongodb备份相关的脚本也还是很少。下面话不多说了，来一起看看详细的介绍吧

功能

定期对mongodb数据库数据进行全量备份或增量备份（副本集架构），并可以压缩上传到阿里云oss(本地会先生成压缩包，可以设置不上传oss)。

脚本运行环境

使用python语言编写，需安装python，pymongo和mongodbshell客户端（测试时使用python2.7.6，pymongo3.0.3和mongodbshell2.0.4）。

脚本部署步骤

1.将脚本放到一台linux主机

2.如果是增量备份，创建mongodb备份角色用户或更高权限的admin库用户。（导出时会先切换到admin库来验证权限，需有查询local库，mongodumplocal库和mongodump目标库的权限）

useadmin
db.addUser({user:"xxxxx",
pwd:"xxxxx",
roles:["backup"]
})

3.编辑config.properties，修改oss、mongodb连接等配置信息

##阿里云oss连接配置
endpoint=oss.aliyuncs.com
accessKeyId=xxxxxxx
accessKeySecret=xxxxxxx
bucket=db-backup
##mongodb连接配置
#建议用从库的地址，减少对主库压力
db_host=localhost
db_port=27017
#如果是增量备份方案，为步骤2中的创建的用户，或更高权限的admin用户；如果是全量备份方案，则只需有目标库的操作权限
db_user=testb
db_passwd=testb
#目标库
db_name=che
#备份到本地的临时目录
db_backup_root_path=/temp/backup/
#如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径
mongo_shell_path=/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/
#增量备份还是全量备份1:增量备份0:全量备份
is_inc_backup=1
#每多少天进行一次全量备份
full_backup_period=7
#是否上传到oss，如果1，上传成功后会删除本地备份文件；0:不上传到oss
is_upload_to_oss=0

4.将start.py加入linux定时任务。crontab任务配置如04***python/xxx/start.py>>/xxx/xxx.log2>&1

增量时恢复步骤：

1.创建mongodb具有applyOps权限的角色以及用此角色的用户。（需有执行mongorestore--oplogReplay的用户权限）

useadmin
db.createRole(
{
role:"applyOpsRole",
privileges:[
{resource:{anyResource:true},actions:["anyAction"]}
],
roles:[]
}
)
db.addUser({user:"xxxx",
pwd:"xxxx",
roles:["applyOpsRole"]
})

2.修改restore_inc.py里的配置

##阿里云oss配置
endpoint="oss.aliyuncs.com"
accessKeyId="xxxxxxx"
accessKeySecret="xxxxxxx"
bucket="db-backup"

##mongodb导入的配置
db_host="localhost"
db_port=27017
#步骤1创建的用户
db_user="testr"
db_passwd="testr"
db_name="che"

#recentcirclebackupdireactoryonoss最新备份文件的周期名，即备份临时目录中mongodb_inc_backup_info.json的last_circle_backup_dir_name或oss中文件夹名
last_circle_backup_dir_name="mongodb_cycle_backup_20151124141133"
#从oss上下载到本地的临时目录
restore_local_temp_path="H:\\pythoncode\\temp\\restore\\"
#如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径
mongo_shell_path="/alidata1/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/"
#backupfilehasdownloadtolocal?ifTrue,willnotdownloadbackupfilesfromoss
#是否备份文件已经下载到本地，如果true，则不会从oss下载和解压，本地已有
has_download_to_local=False
#恢复时是否先删除旧的数据库
is_drop_old_restore=True

3.导入期间停止mongodb写入

4.执行restore_inc.py

全量时恢复步骤：

1.修改restore_full.py里的配置

##阿里云oss配置
endpoint="oss.aliyuncs.com"
accessKeyId="xxxxxxx"
accessKeySecret="xxxxxxx"
bucket="db-backup"

##mongodb导入的配置
db_host="localhost"
db_port=27017
#数据库对应的用户
db_user="test"
db_passwd="test"
db_name="che"

#recentcirclebackupdireactoryonoss最新备份文件的周期名，oss上存储的文件名称是last_circle_backup_dir_name+last_full_backup_file_suffix
last_circle_backup_dir_name="mongodb_cycle_backup_20151124141133"

last_full_backup_file_suffix=".tar.gz"
#备份的目录，实际全量备份的路径为restore_local_temp_path+last_circle_backup_dir_name+db_name
restore_local_temp_path="H:\\pythoncode\\temp\\restore\\"
#如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径
mongo_shell_path="/alidata1/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/"
#backupfilehasdownloadtolocal?ifTrue,willnotdownloadbackupfilesfromoss
#是否备份文件已经下载到本地，如果true，则不会从oss下载和解压，本地已有
has_download_to_local=False
#恢复时是否先删除旧的数据库
is_drop_old_restore=True

2.执行restore_full.py

mongodb增量/全量备份脚本的实现详解

热门推荐

随机推荐