Rsync命令 什么事Rsync服务rsync是一款开源的,快速的,多功能的可以实现全量及增量的本地或远程数据同步备份的工具yum install -y rsyncrsync命令1、本地备份,同cp一样rsync /etc/host /backup2、远程备份,同scp一样 (172.16.1.41 备份服务器)scp -rp /etc/host root@172.16.1.41:/backup ps: -r 递归 -p 保持文件属性不变 rsync -rp /etc/host root@172.16.1.41:/backup/host远程备份目录rsync -rp /etc root@172.16.1.41:/backup ----备份目录后面没有/ ,会备份/etc目录及其内容 rsync -rp /etc/ root@172.16.1.41:/backup ----备份目录后面有/ ,会备份/etc目录里面的内容3、代替删除命令 首先我们创建一个空目录 mkdir /nullrsync -rp --delete /null root@172.16.1.41:/backup--delete 实现无差异同步数据4、查看文件命令,同lsrsync /etc/hostsrsync -rp root@172.16.1.41:/etc/host /backup --从备份服务器拉取数据 rsync -rp /etc/host root@172.16.1.41:/backup --从本地传输数据

利用crontab+bypy实现自动备份数据到百度网盘（centos） 一、关于有时候我们需要进行数据备份，如果能自动将数据备份到百度网盘，那将会非常方便。百度网盘有较大的存储空间，而且不怕数据丢失，安全可靠。下面简单的总结一下如何使用 bypy 实现百度网盘数据的同步。 这是一个百度云的 Python 客户端，其主要目的和功能，就是为 Linux 使用者提供一种在命令行下，使用百度云盘中的存储空间的方法。它提供文件列表、下载、上传、比较、向上同步、向下同步，等操作。二、环境配置python2.7.5+centos7查看centos版本信息cat /etc/redhat-release查看linux版本cat /proc/version查看python版本python（此命令查看过后用Ctrl-D退出或输入quit()退出）安装pip、bypysudo yum -y install epel-release #这是安装pip时要用到的东西 sudo yum -y install python-pip sudo yum clean all sudo pip install --upgrade pip #更新 {message type="error"}如果无法更新可以使用命令：sudo python -m pip install --upgrade pip{/message}sudo pip install bypy sudo pip install requests如果出现下面这个，说明安装成功上传到百度网盘1、执行bypy info --这里随意执行一条操作命令目的是为了授权授权完成后可查看相关信息，由于百度PCS API权限限制，程序只能存取百度云端bypy目录下面的文件和目录bypy info #空间使用信息 bypy list #目录信息之后是同步文件到百度网盘bypy upload #要注意切换到你想要上传的目录在执行这个命令三、bypy常用方法重新绑定云盘用户1：清空认证bypy -c2：在云盘创建文件夹bypy mkdir name3：上传本地文件到云盘指定路径bypy upload 本地文件名 /云盘文件名4：查看云盘列表bypy list5：可以选择文件夹下载 百度网盘/应用文件/bypy/aaa/bbb文件到本地bypy downdir /aaa/bbb 下面才是重头戏，上面只是搭建过程，我们要备份网站，首先要确定好备份目录以及要上传百度网盘的目录比如备份网站目录（www）,上传目录 /home/backup/这个自己随意，编写脚本vim /home/backup/backup.sh #!/bin/bash # ------------------------------------------------------------------------------- # FileName: backup.sh # Describe: Used for database backup # Revision: 1.0 # Date: 2021/2/25 # Author: 小白 の 博客 # 设置mysql的登录用户名和密码(根据实际情况填写) MYSQL_USER="root" #数据库用户 MYAQL_PASSWORD="数据库密码" #数据库密码 MYSQL_HOST="localhost" #数据库IP（本地） MYSQL_PORT="3306" #数据库端口 BACKUP_DIR=/home/backup/ #备份到哪个目录 DATE=`date +%Y%m%d%H%M` #时间 echo "Backup Begin Date:" $(date +"%Y-%m-%d %H:%M:%S") # 备份全部数据库 mysqldump -h$MYSQL_HOST -P$MYSQL_PORT -u$MYSQL_USER -p$MYAQL_PASSWORD -R -E --all-databases --single-transaction > $BACKUP_DIR/mysql_b ackup_$DATE.sql #保留3天的数据 find $backup_dir -mtime +7 -type f -name '*.sql' -exec rm -rf {} \; echo "Backup Succeed Date:" $(date +"%Y-%m-%d %H:%M:%S") #备份html文件 tar zcPf $BACKUP_DIR/html_${DATE}.tar.gz /var/www/html之后修改backup.sh文件权限chmod 755 /home/backup/backup.sh四：定时上传到百度云盘bypy 无法同时上传多个文件，百度云不支持上传文件夹，可以通过压缩的方式解决。1：新建一个脚本文件写入下面的指令，上传当日sql备份文件到云盘指定位置。touch /home/backup/baidu_backup.sh chmod 777 /home/backup/baidu_backup.sh脚本编写成功之后先实验一下能不能备份和上传sh /home/backup/backup.sh sh /home/backup/baidu_backup.sh五：crontab -e编写定时任务 crontab -e#每天早上2点执行数据库和html备份脚本 0 2 * * * /bin/sh /home/backup/backup.sh >/dev/null 2>&1 #每天早上4点执行上传百度网盘脚本 0 4 * * * /bin/sh /home/backup/baidu_backup.sh >/dev/null 2>&1最后记得重启crondsystemctl restart crond

数据备份到对象存储(cos) 之前我，写过利用bypy+crontab 实现定时数据备份到百度网盘, {abtn icon="" color="#f76402" href="https://www.xiaobai666.top/312.html" radius="12" content="点击下载"/} ,大家也知道百度网盘的一个缺点就是下载速度太慢，当然如果你是会员就当我没说，下面给你们介绍如何把数据备份到腾讯的cos中，腾讯的数据存储新用户会有6个月的50G标准存储容量。环境:Java和腾讯云的迁移工具{cloud title="点击下载" type="github" url="https://github.com/tencentyun/cos_migrate_tool_v5" password=""/}迁移工具功能说明迁移工具集成了有关COS数据迁移的功能, 目前支持以下四大类迁移本地数据迁移到COS, 功能同之前的本地同步工具友商数据迁移到COS, 目前支持aws s3, 阿里云oss, 七牛存储, 又拍云存储根据url下载列表进行下载迁移COS的bucket数据相互复制, 支持跨账号跨地域的数据复制运行依赖JDK1.8或以上, 有关JDK的安装请参考JAVA安装与配置linux或windows环境, 推荐linux使用范例1、配置全部通过配置文件读入sh start_migrate.sh2、指定部分配置项以命令行为主.sh start_migrate.sh -DmigrateLocal.localPath=/test_data/aaa/ -Dcommon.cosPath=/aaa sh start_migrate.sh -DmigrateAws.prefix=/test_data/bbb/ -Dcommon.cosPath=/bbb迁移机制迁移工具是有状态的，已经迁移成功的会记录在db目录下，以KV的形式存储在leveldb文件中. 每次迁移前对要迁移的路径, 先查找下DB中是否存在, 如果存在，且属性和db中存在的一致, 则跳过迁移, 否则进行迁移。这里的属性根据迁移类型的不同而不同，对于本地迁移，会判断mtime。对于友商与bucket复制，会判断源文件的etag和长度是否与db一致。因此，我们参照的db中是否有过迁移成功的记录，而不是查找COS，如果绕过了迁移工具，通过别的方式(比如coscmd或者控制台)删除修改了文件，那么运行迁移工具由于不会察觉到这种变化，是不会重新迁移的。其他请参照COS迁移工具官网文档Java安装：1、下载 JDK进入 Oracle 官方网站 下载合适的 JDK 版本，准备安装。或者下载我用的安装包：{cloud title="点击下载" type="wy" url="https://share.weiyun.com/5p7MsV6c" password=""/}2、创建目录执行如下命令，在 /usr/ 目录下创建 java 目录。mkdir /usr/java cd /usr/java将下载的文件 jdk-8u151-linux-x64.tar.gz 复制到 /usr/java/ 目录下。3、解压 JDK执行如下命令，解压文件。tar -zxvf jdk-8u151-linux-x64.tar.gz 4、设置环境变量编辑 /etc/profile 文件，在 profile 文件中添加如下内容并保存：set java environment JAVA_HOME=/usr/java/jdk1.8.0_28 JRE_HOME=/usr/java/jdk1.8.0_281/jre CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME CLASS_PATH PATH{message type="warning" content="其中 JAVA_HOME，JRE_HOME 请根据自己的实际安装路径及 JDK 版本配置。"/}使之修改生效，执行如下：source /etc/profile 5、测试执行如下命令进行测试。java -version若显示 Java 版本信息，则说明 JDK 安装成功：java version "1.8.0_151" Java(TM) SE Runtime Environment (build 1.8.0_151-b12) Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)下载并配置cos工具1、解压并保存到某个目录unzip cos_migrate_tool_v5-master.zip && cd cos_migrate_tool_v5-master2、迁移工具结构正确解压后的 COS Migration 工具目录结构如下所示： COS_Migrate_tool |——conf #配置文件所在目录 | |——config.ini #迁移配置文件 |——db #存储迁移成功的记录 |——dep #程序主逻辑编译生成的JAR包 |——log #工具执行中生成的日志 |——opbin #用于编译的脚本 |——src #工具的源码 |——tmp #临时文件存储目录 |——pom.xml #项目配置文件 |——README #说明文档 |——start_migrate.sh #Linux 下迁移启动脚本 |——start_migrate.bat #Windows 下迁移启动脚本这里主要配置config.ini文件 vim conf/config.ini 配置好之后保存创建腾讯对象存储桶创建目录开始测试 sh start_migrate.sh 由于我备份的数据大上传的速度会慢一些，只需等待即可出现上图结过表示备份成功

备份服务器项目需求 1、备份项目需求（1）所有的服务器备份目录统一（/backup）mkdir /backup（2）要备份的系统配置文件包括但不限于：​ a、定时任务的配置文件（/var/spool/cron/root）（适用于web和nfs服务器）​ b、开机自启动的配置文件（/etc/rc.local）（适用于web和nfs服务器）​ c、日常脚本目录（/server/scripts）​ d、防火墙iptables的配置文件（/etc/sysconfig/iptables）​ e、等等 tar zcvhf /backup/system_back.tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /etc/sysconfig/iptables-h 将链接文件指向的源文件备份PS：最好用相对路径进行备份 cd / tar zcvhf /backup/system_back.tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables（3）web服务器站点目录假定为（/var/html/www） tar zcvhf /backup/www_back.tar.gz ./var/html/www（4）web服务器A访问日志路径假定为（/app/logs） tar zcvhf /backup/www_log_back.tar.gz ./app/logs（5）web服务器保留打包后七天的备份数据即可（本地留存7天即可，太多硬盘会满） tar zchf /backup/system_backup_$(date +%F).tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables find /backup -type f -mtime +7|xargs rm （6）备份服务器上，保留每一周的所有数据副本，其他要保留6个月的数据副本 tar zchf /backup/www_backup_$(date +%F_week%w).tar.gz ./var/html/www tar zchf /backup/www_log_backup_$(date +%F_week%w).tar.gz ./app/logs find /backup -type f -mtime +180!-name "*week1.tar.gz"|xargs rm 2、如何验证数据完整性​ 利用md5算法进行验证数据完整性​ md5sum -c 指纹文件命令执行原理​ 第一个历程: 打开一个指纹文件,将信息记录到缓存中​ 第二个历程: 根据指纹文件的路径信息,生成md5数值信息​ 第三个历程: 将新生成md5数值和原有指纹文件中的数值进行比较​ 第四个历程: 如果相同显示结果为ok,如果不同显示failed find /backup/ -type f -mtime -1 ! -name "finger*" |xargs md5sum >/backup/10.0.0.31/finger.txt rsync -avz /backup/rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password md5sum -c /backup/10.0.0.31/finger.txt #检查3、如何实现发送邮件a、配置163企业邮箱注册后邮箱打开设置 以下配置b、编写linux服务邮件相关配置文件 vim /etc/mail.rc set from=xxxx@163.com smtp=smtp.163.com set smtp-auth-user=xxxx@163.com smtp-auth-password=授权密码 smtp-auth=login systemctl restart postfix.servicec、 发送邮件测试 echo "邮件发送测试"|mail -s "邮件测试" xxxx@qq.com mail -s "邮件测试" xxxxx@qq.com </etc/hosts 配置完成