LINUX运维学习之综合架构篇——NFS存储服务器概念介绍及搭建 1、什么是存储服务NFS是网络文件共享系统它主要功能是通过网络（一般是局域网）让不同的主机系统之间可以共享文件或目录NFS客户端(一般是应用服务器，例如web)可以通过挂载（mount）的方式将NFS服务器端共享的数据目录挂载到NFS客户端本地系统中（就是某一个挂载点下）。从客户端本地看，NFS服务器端共享的目录就好像是客户端自己的磁盘分区或者目录一样，而实际上却是远端NFS服务器的目录。NFS属于本地文件存储服务。2、NFS存储服务的作用：（1）实现数据的共享存储（2）编写数据操作管理（3）节省购买服务器磁盘的开销3、NFS工作流程：（1）在NFS服务端创建共享目录（2）通过mount挂载，将NFS服务端共享目录挂载到NFS客户端本地目录上。（3）NFS客户端挂载目录上创建、删除、查询数据操作， 相当于在服务端操作。4、NFS两个重要的服务由于NFS服务启动时产生的进程服务器端口号是随机的，因此NFS的各项功能都需要向RPC服务（rpcbind服务）注册，所以只有RPC服务才能获得NFS服务的各项功能对应的端口号、pid、NFS在主机所监听的IP等信息，而NFS客户端只能通过RPC服务询问才能找到正确的端口。5、nfs服务部署流程rpc:远程过程调用服务程序服务端部署（1）下载软件 rpm -qa|grep -E "nfs|rpc" #检查软件是否安装，默认是不安装的 yum install -y nfs-uttls rpcbind（2）编写nfs服务配置文件 vim /etc/exports /test 172.16.1.0/24(rw,sync)a b(c)a、设置数据的存储目录 （/test）b、设置网络白名单（允许哪些主机可以连接到存储服务器进行数据存储）c、配置存储目录的权限信息，存储目录一些功能（3）创建一个存储目录 mkdir /test chown nfsnobody.nfsnobody /test ls -ld /test（4）启动服务程序先启动rpc服务 systemctl start rpcbind.service systemctl enable rpcbind.service systemctl status rpcbind.service在启动NFS服务 systemctl start nfs systemctl enable nfs systemctl status nfs客户端（1）安装软件 yum install -y nfs-utils（2）远程挂载目录 mount -t nfs 172.16.1.31:/test /mnt实现多个网段主机进行挂载（1）/test 172.16.1.0/24（rw,sync） 10.0.0.0/24(rw,sync) （2）/test 172.16.1.0/24（rw,sync） /test 10.0.0.0/24(rw,sync)6、影响NFS服务存储权限的因素（1）服务端本身目录权限exports文件里ro/rw参数（2）服务端本身目录权限（3）服务端共享目录权限存在继承关系。例如：/test, /test/a（4）客户端挂载参数是否为ro7、NFS服务配置参数 NFS配置参数权限 rw -- 存储目录是否有读写权限 ro -- 存储目录是否时只读权限 sync -- 同步方式存储数据 直接将数据保存到磁盘（数据存储安全） async -- 异步方式存储数据 直接将数据保存到内存（提高数据存储效率） no_root_squash -- 不要将root用户身份进行转换 root_squash -- 将root用户身份进行转换 all_squash -- 将所有用户身份都进行转换 no_all_squash -- 不要将普通用户身份进行转换PS：检查NFS服务进程与端口注册信息rpcinfo -p 172.16.1.31

全网备份脚本 1、客户端脚本这里我拿nfs服务器充当客户端#/bin/bash Backup_dir="/backup" IP_info=$(hostname -i) #cerate backup dir mkdir -p $Backup_dir/$IP_info #tar backup data cd / tar zchf $Backup_dir/$IP_info/system_backup_$(date +%F_week%w).tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables #del 7 day ago data find $Backup_dir/ -type f -mtime +7|xargs rm 2>/dev/null #create finger file find $Backup_dir/ -type f -mtime -1 ! -name "finger*"|xargs md5sum >$Backup_dir/$Ip_info/finger.txt #backup push data info rsync -az $Backup_dir/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password2、web服务器脚本#/bin/bash Backup_dir="/backup" IP_info=$(hostname -i) #cerate backup dir mkdir -p $Backup_dir/$IP_info #tar backup data cd / tar zchf $Backup_dir/$IP_info/system_backup_$(date +%F_week%w).tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables #tar zchf $Backup_dir/$IP_info/www_backup_$(data +%F_week%w).tar.gz ./var/html/www #tar zchf $Backup_dir/$IP_info/www_log_backup_$(data +%F_week%w).tar.gz ./app/logs tar zchf $Backup_dir/$IP_info/www_backup_$(date +%F_week%w).tar.gz ./var/html/www tar zchf $Backup_dir/$IP_info/www_log_backup_$(date +%F_week%w).tar.gz ./app/logs #del 7 day ago data find $Backup_dir/ -type f -mtime +7|xargs rm 2>/dev/null #create finger file find $Backup_dir/ -type f -mtime -1 ! -name "finger*"|xargs md5sum >$Backup_dir/$Ip_info/finger.txt #backup push data info #rsync -az $Backup_dir/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password rsync -az $Backup_dir/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password3、备份服务器脚本#del 180 day ago data find /backup/ -type f -mtime +180 ! -name "week1.tar.gz"|xargs rm 2 >/dev/null #check backup data find /backup/ -type f -name "fingex.txt"|xargs md5sum -c >/tmp/check.txt #sed check mail mail -s "check info $(date +%F)" 3285884651@qq.com </tmp/check.txt4、实现自动完成全网数据备份（定时任务） 客户端定时任务: crontab -e # backup data 0 0 * * * /bin/sh /server/scripts/backup.sh &>/dev/null 服务端定时任务 # check backup data 0 5 * * * /bin/sh /server/scripts/backup_server.sh &>/dev/null当然这些还是有完善的地方

守护进程服务在企业应用 1、守护进程多模块功能配置 sa sa_data.txt dev dev_data.txt dba dba_data.txt vim /etc/rsync.conf #添加以下信息 [backup] comment = "backup dir by oldboy" path = /backup [dba] comment = "backup dir by oldboy" path = /dba [dev] comment = "backup dir by oldboy" path = /devdata2、守护进程的排除环境 [root@nfs01 /]# mkdir -p /oldboy [root@nfs01 /]# mkdir -p /oldboy/{a..c} [root@nfs01 /]# touch /oldboy/{a..c}/{1..3}.txt [root@nfs01 /]# tree /oldboy /oldboy ├── 01.txt ├── 02.txt ├── a │?? ├── 1.txt │?? ├── 2.txt │?? └── 3.txt ├── b │?? ├── 1.txt │?? ├── 2.txt │?? └── 3.txt └── c ├── 1.txt ├── 2.txt └── 3.txt01、 需求01: 将/oldboy目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录不要做备份 --exclude=PATTERN 绝对路径方式: [root@nfs01 /]# rsync -avz /oldboy --exclude=/oldboy/b/1.txt --exclude=/oldboy/c/rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password sending incremental file list oldboy/ oldboy/01.txt oldboy/02.txt oldboy/a/ oldboy/a/1.txt oldboy/a/2.txt oldboy/a/3.txt oldboy/b/ oldboy/b/2.txt oldboy/b/3.txt 相对路径方式: [root@nfs01 /]# rsync -avz /oldboy --exclude=b/1.txt --exclude=c/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password sending incremental file list oldboy/ oldboy/01.txt oldboy/02.txt oldboy/a/ oldboy/a/1.txt oldboy/a/2.txt oldboy/a/3.txt oldboy/b/ oldboy/b/2.txt oldboy/b/3.txt ​ ​ sent 502 bytes received 177 bytes 1,358.00 bytes/sec ​ total size is 0 speedup is 0.0002、将/oldboy目录下面 a目录数据全部备份 b目录不要备份1.txt文件 c整个目录1.txt 3.txt文件不要备份 --exclude-from=file --- 批量排除 第一个历程: 编辑好一个排除文件 [root@nfs01 /]# cat /oldboy/exclude.txt b/1.txt c/1.txt c/3.txt exclude.txt第二个历程: 实现批量排除功能 [root@nfs01 /]# rsync -avz /oldboy --exclude-from=/oldboy/exclude.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password sending incremental file list oldboy/ oldboy/01.txt oldboy/02.txt oldboy/a/ oldboy/a/1.txt oldboy/a/2.txt oldboy/a/3.txt oldboy/b/ oldboy/b/2.txt oldboy/b/3.txt oldboy/c/ oldboy/c/2.txt03、守护进程来创建备份目录 [root@nfs01 /]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup/10.0.0.31/ --password-file=/etc/rsync.password sending incremental file list created directory 10.0.0.31 hosts sent 226 bytes received 75 bytes 602.00 bytes/sec total size is 371 speedup is 1.23PS: 客户端无法在服务端创建多级目录 3、 守护进程的访问控制配置守护进程白名单和黑名单功能PS: 建议只使用一种名单守护进程的列表功能配置 [root@nfs01 /]# rsync rsync_backup@172.16.1.41:: backup "backup dir by oldboy" dba "backup dir by oldboy" dev "backup dir by oldboy"

备份服务器项目需求 1、备份项目需求（1）所有的服务器备份目录统一（/backup）mkdir /backup（2）要备份的系统配置文件包括但不限于：​ a、定时任务的配置文件（/var/spool/cron/root）（适用于web和nfs服务器）​ b、开机自启动的配置文件（/etc/rc.local）（适用于web和nfs服务器）​ c、日常脚本目录（/server/scripts）​ d、防火墙iptables的配置文件（/etc/sysconfig/iptables）​ e、等等 tar zcvhf /backup/system_back.tar.gz /var/spool/cron/root /etc/rc.local /server/scripts /etc/sysconfig/iptables-h 将链接文件指向的源文件备份PS：最好用相对路径进行备份 cd / tar zcvhf /backup/system_back.tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables（3）web服务器站点目录假定为（/var/html/www） tar zcvhf /backup/www_back.tar.gz ./var/html/www（4）web服务器A访问日志路径假定为（/app/logs） tar zcvhf /backup/www_log_back.tar.gz ./app/logs（5）web服务器保留打包后七天的备份数据即可（本地留存7天即可，太多硬盘会满） tar zchf /backup/system_backup_$(date +%F).tar.gz ./var/spool/cron/root ./etc/rc.local ./server/scripts ./etc/sysconfig/iptables find /backup -type f -mtime +7|xargs rm （6）备份服务器上，保留每一周的所有数据副本，其他要保留6个月的数据副本 tar zchf /backup/www_backup_$(date +%F_week%w).tar.gz ./var/html/www tar zchf /backup/www_log_backup_$(date +%F_week%w).tar.gz ./app/logs find /backup -type f -mtime +180!-name "*week1.tar.gz"|xargs rm 2、如何验证数据完整性​ 利用md5算法进行验证数据完整性​ md5sum -c 指纹文件命令执行原理​ 第一个历程: 打开一个指纹文件,将信息记录到缓存中​ 第二个历程: 根据指纹文件的路径信息,生成md5数值信息​ 第三个历程: 将新生成md5数值和原有指纹文件中的数值进行比较​ 第四个历程: 如果相同显示结果为ok,如果不同显示failed find /backup/ -type f -mtime -1 ! -name "finger*" |xargs md5sum >/backup/10.0.0.31/finger.txt rsync -avz /backup/rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password md5sum -c /backup/10.0.0.31/finger.txt #检查3、如何实现发送邮件a、配置163企业邮箱注册后邮箱打开设置 以下配置b、编写linux服务邮件相关配置文件 vim /etc/mail.rc set from=xxxx@163.com smtp=smtp.163.com set smtp-auth-user=xxxx@163.com smtp-auth-password=授权密码 smtp-auth=login systemctl restart postfix.servicec、 发送邮件测试 echo "邮件发送测试"|mail -s "邮件测试" xxxx@qq.com mail -s "邮件测试" xxxxx@qq.com </etc/hosts 配置完成

LINUX运维学习之综合架构篇——架构搭建准备 1、综合架构组成说明用户访问网站是使用HTTP协议80端口，查看80端口是否开启netstat -lntup|grep 80web服务器：让用户访问需要公网IP地址，域名解析，当访问网站的用户较多，同时写入增多消耗IO，服务器磁盘压力，为了缓解压力，用户在网站的注册等某些字符串信息，那就存储到数据库服务器，图片视频附件等存储在存储服务器，不够用是也可以配置多台服务器随着用户使用的增多，数据库，存储服务器可能损坏，就要有一个备份服务器，将数据库及存储服务器中的数据定时备份到备份服务器中，为了防止备份服务器损坏，要考虑多台备份服务器，尽量不要把备份服务器服务器放在同一个地方，用户不断增加，一个web服务器明显不够，就要增加多台web服务器，减缓第一台web服务器的压力。为了防止黑客非法入侵，配置防火墙服务所以这个小型架构用户访问时先访问到防火墙，再到负载均衡设备，再到相应web服务器，根据存储的内容，在分配到数据库或者存储服务器，为了防止负载均衡设备出问题也可以配置多台，叫高可用架构。用户先访问一台，一台出问题了再访问第二台，首先访问的叫主服务器，第二台叫备服务器用户访问网站一般浏览网站比写入数据到网站的行为更多，为了让用户读的更快，加速读取数据，配置缓存服务器，将磁盘重点，热点数据存储到缓存服务器，再存储到内存中，用户就可以从缓存服务器读取数据，写入也可以，如果读取的数据没有，再根据访问的内容访问数据库服务器或者存储服务器，缓存也可以多台。数据分析服务器可以把存储的数据调取过来分析，也可以分析日志，也是分为个小型架构，叫消息队列结构，前端收集数据，后端进行数据分析，将结果以图形的方式展示出来，用awk或者ELK进行数据分析已经部署了很多设备，为了实现对架构更好的管理，可以配置监控服务器，如果有其他多个机房也可以配置多个监控服务器，叫代理监控服务器，一个主的监控服务器，master表示，这样可以对所有企业里的服务器做监控管理。结构的服务器设备太多，需要管理这一堆架构，实现部署配置需要，在配置一个批量管理服务器，跟每台服务器建立联系。对于用户的访问渠道有了，对于运维人员，走另一条路，为了保证安全性，配置VPN服务器，让只有内部的人可以连接进入，类似于一个特殊通道，需要用户名密码验证，通过后就可以连接访问管理任意一台服务器。为了防止内部人员做出破坏性行为，为内部人员访问做出监管，配置跳板机服务器，VPN，跳板机，批量管理，监控等服务器叫做网站运维人员管理网站的架构，通过这个架构，可以更好地方便对网站庞大的服务器监控管理，以及出现问题了可以记录用户的操作行为。以上就完成了一个中小规模的完整企业架构。2、综合架构规划主机名称IP地址规划需要的软件 防火墙服务器（firewalld)10.0.0.81（外网）172.16.1.81(内网) 负载均衡服务器（lb01）10.0.0.5 (外网)172.16.1.5（内网）nginx keepalived负载均衡服务器（lb02）10.0.0.6 (外网)172.16.1.6（内网）nginx keepalivedweb服务器（web01)10.0.0.7 (外网)172.16.1.7 (内网)nginxweb服务器（web02)10.0.0.8 (外网)172.16.1.8 (内网)nginxweb服务器（web03)10.0.0.9 (外网)172.16.1.9 (内网)nginx数据库（db01)10.0.0.51(外网)172.16.1.51（内网）MySQL存储服务器（nfs01）10.0.0.31(外网)172.16.1.31（内网）nfs备份服务器（backup）10.0.0.41（外网）172.16.1.41（内网）rsync批量管理服务器（m01）10.0.0.61(外网)172.16.1.61（内网）ansible跳板机服务器（jumpserver）10.0.0.71(外网)172.16.1.71（内网）jumpserver监控服务器（zabbix）10.0.0.72(外网)172.16.1.72（内网）zabbix由于资源有限，只能用虚拟机进行模拟测试1、优化配置模板主机进行网卡配置之前模板主机第一张网卡IP地址为10.0.0.200所以在添加一张网卡，IP地址为171.16.1.200a、添加网卡b、配置网卡vim /etc/sysconfig/network-scripts/ifcfg-eth1 或者输入 nmtui 图形化界面配置网卡2、系统优化过程1）模板机优化配置——hosts 文件配置先备份一下hosts文件 \cp /etc/hosts{.bak} cat >/etc/hosts<<EOF 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6172.16.1.5 lb01 172.16.1.6 lb02 172.16.1.7 web01 172.16.1.8 web02 172.16.1.9 web03 172.16.1.51 db01 db01.etiantian.org 172.16.1.31 nfs01 172.16.1.41 backup 172.16.1.61 m01 172.16.1.71 jumpserver 172.16.1.72 zabbixEOF2）模板机优化配置——跟新yum源更改yum源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup &&\ curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo yum install -y wget wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo3）模板机优化配置——关闭selinuxsed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config grep SELINUX=disabled /etc/selinux/config4) 模板机优化配置——关闭iptablessystemctl stop firewalld systemctl disable firewalld systemctl ststus firewalld5) 模板机优化配置——普通用户oldboy可以使用sudouseradd oldboy echo 123456|passwd --stain oldboy echo "oldboy ALL=(ALL) NOPASSWD: ALL ">>/etc/sudoers tail -1 /etc/sudoers visudo -c6) 模板机优化配置——英文字符集先查看一下 echo $LANG 修改 localectl set-locale LANG="en_US.UTF-8" 重启 reboot echo $LANG7) 模板机优化配置——时间同步下载软件 yum install -y ntpdate echo '#time sync by lidao at 2020-12-03' >>/var/spool/cron/root 添加注释 echo '*/5 * * * * /usr/sbin/ntpdate ntp1.aliyun.com >/dev/null 2>&1' >>/var/spool/cron/root 每隔五分钟同步一次 crontab -l 查看8) 模板机优化配置——加大文件描述yum install -y lsoflsof -i:22 echo '* - nofile 1024' >>/etc/security/limits.conf source /etc/security/limits.conf 说明：一个服务进程运行起来，会打开相应的文件9) 模板机优化配置——安装其他小软件yum install lrzsz nmap tree dos2unix nc telnet bash-completion bash-completion-extras -y当然以上命令，也可以写成一个脚本，方法有很多，这里就不介绍了，可自行百度。