网站备份问题 - 全球主机交流论坛

#!/usr/bin/env bash
#修改来自 https://github.com/teddysun/lamp
#crontab #[-u username]　省默认当前用户的crontab
# -e (编辑工作表)
# -l (列出工作表里的命令)
# -r (删除工作作)
# crontab的命令构成为时间表达式动作
#六个 * 分别表示分、时、日、月、周
# * 取值范围内的所有数字
# / 每过多少个数字
# - 从X到Z
# ，散列数字
[[ $EUID -ne 0 ]] && echo "错误: 脚本必须以 root 权限运行!" && exit 1
########## 配置开始 ##########
#是否开启加密
ENCRYPT_**=true
#加密密码
BACKUP_PASS="xxxx"
#---------------------------------------------------------------
#是否删除远程备份中超过保留天数的文件
DELETE_REMOTE_FILE_**=true
#备份保留天数
LOCAL_AGE_DAILIES="7"
#---------------------------------------------------------------
#备份本地存放目录
LOCAL_DIR="/opt/bitwarden/backup/data/"
#临时目录
TEMP_DIR="/opt/bitwarden/backup/temp/"
#日志文件路径
LOG_FILE="/opt/bitwarden/backup/backup.log"
#----------------------------------------------------------------
#要备份的目录或文件列表
BACKUP[0]="/opt/bitwarden/data/"
#要排除的目录或文件列表
EXCLUDE[0]="/opt/bitwarden/data/db.sqlite3" #防止文件损坏, 不直接备份文件,而是通过sqlite3来导出备份
#---------------------------------------------------------------
#是否备份mysql
MYSQL_**=true
#mysqsl数据库密码
MYSQL_ROOT_PASSWORD=""
#mysqsl要备份的数据库名, 留空备份整个数据库
MYSQL_DATABASE_NAME[0]=""
#---------------------------------------------------------------
#是否备份sqlite
SQLITE_**=true
#要备份的SQLite数据库路径
SQLITE_DATABASE_PATH="/opt/bitwarden/data/db.sqlite3"
#-----------------------------------------------------------------
#是否上传到 Rclone
RCLONE_**=true
#Rclone 远程仓库名
RCLONE_NAME="bitwarden"
#Rclone 远程仓库名文件夹
RCLONE_FOLDER=""
#-----------------------------------------------------------------
#是否上传到 FTP
FTP_**=true
#FTP主机名
FTP_HOST=""
#FTP用户名
FTP_USER=""
#FTP密码
FTP_PASS=""
#FTP目录
FTP_DIR=""
########## 配置结束 ##########
# 重定向所有错误到日志
exec 2>>$LOG_FILE
# 日期和时间
DAY=$(date +%d)
MONTH=$(date +%m)
YEAR=$(date +%C%y)
BACKUP_DATE=$(date +%Y%m%d%H%M%S)
# 备份到目标文件
TAR_FILE="${LOCAL_DIR}""$(hostname)"_"${BACKUP_DATE}".tgz
#加密备份到目标文件
ENC_TARFILE="${TAR_FILE}.enc"
#mysql导出到目标文件
SQL_FILE="${TEMP_DIR}mysql_${BACKUP_DATE}.sql"
#sqlite导出到目标文件
SQLITE_FILE="${TEMP_DIR}dump_${BACKUP_DATE}.sqlite3"
log() {
echo "$(date "+%Y-%m-%d %H:%M:%S")" "$1"
echo -e "$(date "+%Y-%m-%d %H:%M:%S")" "$1" >> ${LOG_FILE}
}
# 检测依赖命令是否满足
check_commands() {
#依赖的命令列表
BINARIES=( cat cd du date dirname echo pwd rm tar)
${RCLONE_**} && BINARIES=(${BINARIES[*]} rclone)
${SQLITE_**} && BINARIES=(${BINARIES[*]} sqlite3)
${MYSQL_**} && BINARIES=(${BINARIES[*]} mysql mysqldump)
${ENCRYPT_**} && BINARIES=(${BINARIES[*]} openssl)
${FTP_**} && BINARIES=(${BINARIES[*]} ftp)
#循环判断
for BINARY in "${BINARIES[@]}"; do
# if [ ! "$(command -v "$BINARY")" ]; then
# log "$BINARY 没有安装, 请安装后再试"
# exit 1
# fi
command -v ${BINARY} >/dev/null 2>&1 || { log "${BINARY} 没有安装, 请安装后再试"; exit 1; }
done
}
#计算文件大小
calculate_size() {
local file_name=$1
local file_size=$(du -h $file_name 2>/dev/null | awk '{print $1}')
if [ "x${file_size}" = "x" ]; then
echo "未知"
else
echo "${file_size}"
fi
}
mysql_backup() {
if ${MYSQL_**}; then
[ -z "${MYSQL_ROOT_PASSWORD}" ] && log "错误: MySQL 管理员密码不能为空" && exit 1
log "MySQL 开始导出"
mysql -u root -p"${MYSQL_ROOT_PASSWORD}" 2>/dev/null <<EOF
exit
EOF
if [ $? -ne 0 ]; then
log "MySQL 管理员密码不正确, 请检查后再试"
exit 1
fi
if [ "${MYSQL_DATABASE_NAME[*]}" == "" ]; then
mysqldump -u root -p"${MYSQL_ROOT_PASSWORD}" --all-databases > "${SQL_FILE}" 2>/dev/null
if [ $? -ne 0 ]; then
log "备份整个 MySQL 数据库失败"
exit 1
fi
log "MySQL 全部的数据导出到: ${SQL_FILE}"
#添加导出的文件路径到备份包含路径
BACKUP=(${BACKUP[*]} ${SQL_FILE})
else
for db in ${MYSQL_DATABASE_NAME[*]}; do
unset DBFILE
DBFILE="${TEMP_DIR}${db}_${BACKUP_DATE}.sql"
mysqldump -u root -p"${MYSQL_ROOT_PASSWORD}" ${db} > "${DBFILE}" 2>/dev/null
if [ $? -ne 0 ]; then
log "MySQL 数据库 [${db}] 备份失败请检测数据库名是否正确"
exit 1
fi
log "MySQL 数据库 [${db}] 导出到: ${DBFILE}"
#添加导出的文件路径到备份包含路径
BACKUP=(${BACKUP[*]} ${DBFILE})
done
fi
log "MySQL 数据导出完成"
fi
}
sqlite_backup() {
if ${SQLITE_**}; then
[ ! -f "${SQLITE_DATABASE_PATH}" ] && log "错误: ${SQLITE_DATABASE_PATH} 不是一个文件或文件不存在" && exit 1
log "SQLite 开始导出"
sqlite3 ${SQLITE_DATABASE_PATH} ".backup '${SQLITE_FILE}'" 2>/dev/null
if [ $? -ne 0 ]; then
log "错误: 请检查 ${SQLITE_DATABASE_PATH} 否是一个合法的SQLite文件"
exit 1
fi
log "${SQLITE_DATABASE_PATH} 导出到: ${SQLITE_FILE}"
#添加导出的文件路径到备份包含路径
BACKUP=(${BACKUP[*]} ${SQLITE_FILE})
fi
}
start_backup() {
[ "${BACKUP[*]}" == "" ] && echo "错误: 要备份的路径不能为空!" && exit 1
#排除的路径列表
excludeList=''
for ex in ${EXCLUDE[*]}; do
excludeList="${excludeList}--exclude=${ex} "
done
log "tar 开始打包"
log "排除路径: ${EXCLUDE[*]}"
log "包括路径: ${BACKUP[*]}"
tar -zcPf ${TAR_FILE} ${excludeList} ${BACKUP[*]}
if [ $? -gt 1 ]; then
log "tar 备份失败"
exit 1
fi
log "tar 打包结束"
if ${ENCRYPT_**}; then
log "开始加密打包的文件"
openssl enc -aes256 -in "${TAR_FILE}" -out "${ENC_TARFILE}" -pass pass:"${BACKUP_PASS}" -md sha1
if [ $? -ne 0 ]; then
log "错误: 备份文件加密失败"
exit 1
fi
log "打包的文件加密完成"
log "删除未加密的打包文件: ${TAR_FILE}"
rm -f ${TAR_FILE}
fi
if ${MYSQL_**}; then
for sql in $(ls ${TEMP_DIR}*.sql); do
log "删除 MySQL 临时导出文件: ${sql}"
rm -f ${sql}
done
fi
if ${SQLITE_**}; then
for sqli in $(ls ${TEMP_DIR}*.sqlite3); do
log "删除 SQLite 临时导出文件: ${sqli}"
rm -f ${sqli}
done
fi
if ${ENCRYPT_**}; then
OUT_FILE="${ENC_TARFILE}"
else
OUT_FILE="${TAR_FILE}"
fi
log "最终文件: ${OUT_FILE} 文件大小: $(calculate_size ${OUT_FILE})"
}
rclone_upload() {
if ${RCLONE_**}; then
[ -z "${RCLONE_NAME}" ] && log "rclone 错误: RCLONE_NAME 不能为空!" && return 1
if [ -n "${RCLONE_FOLDER}" ]; then
rclone ls ${RCLONE_NAME}:${RCLONE_FOLDER} 2>&1 > /dev/null
if [ $? -ne 0 ]; then
log "rclone 创建目录 ${RCLONE_NAME}:${RCLONE_FOLDER}"
rclone mkdir ${RCLONE_NAME}:${RCLONE_FOLDER}
fi
fi
log "rclone 正在上传: ${OUT_FILE} 到 ${RCLONE_NAME}:${RCLONE_FOLDER}"
rclone copy ${OUT_FILE} ${RCLONE_NAME}:${RCLONE_FOLDER} >> ${LOG_FILE}
if [ $? -ne 0 ]; then
log "rclone 上传: ${OUT_FILE} 到 ${RCLONE_NAME}:${RCLONE_FOLDER} 错误"
return 1
fi
log "rclone 上传: ${OUT_FILE} 到 ${RCLONE_NAME}:${RCLONE_FOLDER} 完成"
fi
}
ftp_upload() {
if ${FTP_**}; then
[ -z "${FTP_HOST}" ] && log "ftp 错误: FTP_HOST 不能为空" && return 1
[ -z "${FTP_USER}" ] && log "ftp 错误: FTP_USER 不能为空" && return 1
[ -z "${FTP_PASS}" ] && log "ftp 错误: FTP_PASS 不能为空" && return 1
[ -z "${FTP_DIR}" ] && log "ftp 错误: FTP_DIR 不能为空" && return 1
local FTP_OUT_FILE=$(basename ${OUT_FILE})
log "ftp 备份文件: ${FTP_OUT_FILE} 到 FTP 服务器"
ftp -in ${FTP_HOST} 2>&1 >> ${LOG_FILE} <<EOF
user $FTP_USER $FTP_PASS
binary
lcd $LOCAL_DIR
cd $FTP_DIR
put $FTP_OUT_FILE
quit
EOF
if [ $? -ne 0 ]; then
log "ftp 备份文件: ${FTP_OUT_FILE} 到 FTP 服务器错误"
return 1
fi
log "ftp 备份文件: ${FTP_OUT_FILE} 到 FTP 服务器完成"
fi
}

复制代码

get_file_date() {
#Approximate a 30-day month and 365-day year
DAYS=$(( $((10#${YEAR}*365)) + $((10#${MONTH}*30)) + $((10#${DAY})) ))
unset FILEYEAR FILEMONTH FILEDAY FILEDAYS FILEAGE
FILEYEAR=$(echo "$1" | cut -d_ -f2 | cut -c 1-4)
FILEMONTH=$(echo "$1" | cut -d_ -f2 | cut -c 5-6)
FILEDAY=$(echo "$1" | cut -d_ -f2 | cut -c 7-8)
if [[ "${FILEYEAR}" && "${FILEMONTH}" && "${FILEDAY}" ]]; then
#Approximate a 30-day month and 365-day year
FILEDAYS=$(( $((10#${FILEYEAR}*365)) + $((10#${FILEMONTH}*30)) + $((10#${FILEDAY})) ))
FILEAGE=$(( 10#${DAYS} - 10#${FILEDAYS} ))
return 0
fi
return 1
}
#删除 rclone 中过期备份文件
delete_rclone_file() {
local FILENAME=$1
if ${DELETE_REMOTE_FILE_**} && ${RCLONE_**}; then
rclone ls ${RCLONE_NAME}:${RCLONE_FOLDER}/${FILENAME} 2>&1 > /dev/null
if [ $? -eq 0 ]; then
rclone delete ${RCLONE_NAME}:${RCLONE_FOLDER}/${FILENAME} >> ${LOG_FILE}
if [ $? -eq 0 ]; then
log "rclone ${RCLONE_NAME}:/${RCLONE_PATH} 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 已删除"
else
log "rclone ${RCLONE_NAME}:/${RCLONE_PATH} 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 删除失败"
fi
else
log "rclone ${RCLONE_NAME}:/${RCLONE_PATH} 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 不存在"
fi
fi
}
# 删除 ftp 中过期备份文件
delete_ftp_file() {
local FILENAME=$1
if ${DELETE_REMOTE_FILE_**} && ${FTP_**}; then
ftp -in ${FTP_HOST} 2>&1 >> ${LOG_FILE} <<EOF
user $FTP_USER $FTP_PASS
cd $FTP_DIR
del $FILENAME
quit
EOF
if [ $? -eq 0 ]; then
log "ftp 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 已删除"
else
log "ftp 大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${FILENAME} 删除失败"
fi
fi
}
#删除过期文件
clean_up_files() {
cd ${LOCAL_DIR} || return 1
if ${ENCRYPT_**}; then
LS=($(ls *.enc))
else
LS=($(ls *.tgz))
fi
for f in ${LS[@]}; do
get_file_date ${f}
if [ $? -eq 0 ]; then
if [[ ${FILEAGE} -gt ${LOCAL_AGE_DAILIES} ]]; then
rm -f ${f}
log "本地大于${LOCAL_AGE_DAILIES}天前的旧备份文件: ${f} 已删除"
delete_rclone_file ${f}
delete_ftp_file ${f}
fi
fi
done
}
#主进程
STARTTIME=$(date +%s)
#检测备份目录和临时目录是否存在和可写
[ ! -d "${LOCAL_DIR}" ] && mkdir -p ${LOCAL_DIR}
[ ! -d "${TEMP_DIR}" ] && mkdir -p ${TEMP_DIR}
log "备份开始"
check_commands
mysql_backup
sqlite_backup
start_backup
log "备份结束"
log "上传开始"
rclone_upload
ftp_upload
log "上传结束"
log "清理过期文件"
clean_up_files
ENDTIME=$(date +%s)
DURATION=$((ENDTIME - STARTTIME))
log "操作耗时 ${DURATION} 秒"
exit 0

复制代码