rsync數(shù)據(jù)同步工具及實(shí)戰(zhàn)一、 rsync介紹1.1 什么是rsync兩臺(tái)機(jī)器之間同步的方法：scp、NFS、SFTP、http、Samba、drdb(基于文件系統(tǒng)同步，高效率)rsync是一款開源的、快速的、多功能的、可實(shí)現(xiàn)全量及增量的本地或遠(yuǎn)程備份的優(yōu)秀工具rsync軟件適用于Unix/Linux/windows等多種操作系統(tǒng)平臺(tái)來(lái)自：http://www.samba.org/rsync/rsync.html1.2 rsync簡(jiǎn)介rsync英文全稱為Remote Rynchronization，從軟件名稱可看出來(lái)，rsync具備可使本地和遠(yuǎn)程兩臺(tái)主機(jī)之間的數(shù)據(jù)快速?gòu)?fù)制同步鏡像、遠(yuǎn)程備份的功能這個(gè)功能類似于ssh帶的scp命令，但又優(yōu)于scp命令的功能，scp每次都是全量拷貝，而rsync可以增量拷貝rsync還可以在本地主機(jī)的不同分區(qū)或目錄之間全量或增量的復(fù)制數(shù)據(jù)但又類似cp命令，當(dāng)然也優(yōu)于cp命令，cp命令每次都是全量拷貝，而rsync可實(shí)現(xiàn)增量拷貝提示：利用rsync還可以實(shí)現(xiàn)刪除文件和目錄的功能，這又相當(dāng)于rm功能一個(gè)rsync相當(dāng)于scp、cp、rm，但還優(yōu)于它們每一個(gè)命令。

在同步備份數(shù)據(jù)時(shí)，默認(rèn)情況下 rsync通過其獨(dú)特的“quick check”算法，它僅同步大小或者最后修改時(shí)間發(fā)生變化的文件或目錄，當(dāng)然也可以根據(jù)權(quán)限、屬主等屬性的變化同步，但需要指定相應(yīng)的參數(shù)甚至可以實(shí)現(xiàn)只同步一個(gè)文件里有變化的內(nèi)容部分，所有rsync可以實(shí)現(xiàn)快速的同步備份數(shù)據(jù)提示：傳統(tǒng)的cp、scp同居拷貝每次均為完整的拷貝，而rsync除了可以完整拷貝，還具備增量拷貝的功能，因此從同步數(shù)據(jù)的性能及效率上，rsync更勝一籌1.3 rsync特點(diǎn)：（1） 支持拷貝特殊文件如連接文件、設(shè)備等2） 有排除指定文件或目錄的同步的功能，相當(dāng)于打包命令tar的排除功能3） 可做到保持原文件或目錄的權(quán)限、時(shí)間、軟硬連接、屬主、組等所有屬性均不改變，-p4） 可實(shí)現(xiàn)增量同步，即只同步發(fā)生變化的數(shù)據(jù)，因此數(shù)據(jù)傳輸效率很高5） 可使用rcp、rsh、ssh等方式來(lái)配合傳輸文件（rsync本身不對(duì)數(shù)據(jù)加密）（6） 可通過socket（進(jìn)程方式）傳輸文件和數(shù)據(jù)7） 支持匿名的或認(rèn)證（無(wú)需系統(tǒng)用戶）的進(jìn)程模式傳輸，可實(shí)現(xiàn)方便安全的數(shù)據(jù)備份即鏡像1.4 rsync的企業(yè)工作場(chǎng)景說明1、rsync定時(shí)同步數(shù)據(jù)備份企業(yè)生產(chǎn)場(chǎng)景集群架構(gòu)服務(wù)器備份方案：cron+rsync全網(wǎng)服務(wù)器數(shù)據(jù)備份解決方案提出及負(fù)責(zé)實(shí)施1） 針對(duì)公司重要數(shù)據(jù)備份混亂狀況和領(lǐng)導(dǎo)提出備份全網(wǎng)數(shù)據(jù)的解決方案。

2） 通過本地打包備份，然后rsync結(jié)合inotify應(yīng)用實(shí)時(shí)把全網(wǎng)數(shù)據(jù)統(tǒng)一備份到一個(gè)固定存儲(chǔ)服務(wù)器上，并在服務(wù)器上通過腳本檢查并報(bào)警管理員備份結(jié)果3） 定期將IDC機(jī)房的數(shù)據(jù)備份到公司內(nèi)部的服務(wù)器上，防止機(jī)房地震及火災(zāi)等問題導(dǎo)致數(shù)據(jù)丟失2、 rsync實(shí)時(shí)同步數(shù)據(jù)備份rsync結(jié)合inotify的功能做實(shí)時(shí)的數(shù)據(jù)同步備份：rsync+inotify或sersync二、 rsync的工作方式一般來(lái)說，rsync大致使用三種重要的傳輸數(shù)據(jù)的方式，分別為：1.單個(gè)主機(jī)本地之間的數(shù)據(jù)傳輸（此時(shí)類似cp命令的功能）2.借助rcp、ssh等通道來(lái)傳輸數(shù)據(jù)（此時(shí)類似scp命令的功能）3.以守護(hù)進(jìn)程（socket）的方式傳輸數(shù)據(jù)（這個(gè)是rsync自身重要的功能）可以通過man rsync查看官方文檔介紹：http://www.samba.org/ftp/rsync/rsync.htmlNAME rsync — a fast, versatile, remote (and local) file-copying toolSYNOPSIS Local: rsync [OPTION...] SRC... [DEST] Access via remote shell: Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST:DEST Access via rsync daemon: Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST] rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST] Push: rsync [OPTION...] SRC... [USER@]HOST::DEST rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DESTUsages with just one SRC arg and no DEST arg will list the source files instead of copying.2.1 本地?cái)?shù)據(jù)傳輸模式（local-only mode）rsync本地傳輸模式的語(yǔ)法為：rsync [OPTION...] SRC... [DEST]1、 rsync為同步命令；2、 [OPTION..]為同步時(shí)的參數(shù)選項(xiàng)；3、 SRC為源，即待拷貝的分區(qū)、文件或目錄等；4、 [DEST]為目的分區(qū)、文件或目錄等。

直接本地同步：相當(dāng)于cp命令：實(shí)例1：把系統(tǒng)的hosts文件同步到/opt目錄[root@CHQ ~]# rsync /etc/hosts /tmp/[root@CHQ ~]# cat /tmp/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6rsync常用參數(shù)選項(xiàng)說明：-v, --verbose 詳細(xì)模式輸出，傳輸時(shí)的進(jìn)度等信息-z, --compress 傳輸時(shí)進(jìn)行壓縮以提高傳輸效率，--compress-level=NUM可按級(jí)別壓縮a, --archive 以遞歸方式傳輸文件，并保持所有文件的屬性，相當(dāng)于-rlptgoDr, --recursive 對(duì)其下所有子目錄以遞歸模式傳輸，注意是小寫rt, --times 保持文件的時(shí)間信息o, --owner 保持文件的屬主信息p, --perms 保持文件的權(quán)限。

g, --group 保持文件的屬組信息P --progress 顯示同步的過程及傳輸進(jìn)度等信息D --devices 保持設(shè)備文件信息l, --links 保持軟連接e, --rsh=COMMAND，使用的信道協(xié)議，指定替代rsh的shell通道，如sshd --delete 使目標(biāo)目錄內(nèi)容和源保持目錄一致，刪除不同的文件exclude=PATTERN 指定排除不需要傳輸?shù)奈募Ｊ奖３滞侥夸浖拔募傩裕荷a(chǎn)環(huán)境常用的參數(shù)為-avzP，放入腳本中，可以把-v和-P去掉2.2 借助ssh通道從遠(yuǎn)端主機(jī)拉取推送例子實(shí)踐：拉取pull：[oldboy888@CHQ ~]$ rsync -avzP -e 'ssh -p 22' oldboy888@192.168.47.133:/oldboy /tmpreceiving incremental file listoldboy/oldboy/2018.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=1/3)oldboy/test.txt 0 100% 0.00kB/s 0:00:00 (xfer#2, to-check=0/3)sent 53 bytes received 175 bytes 2.27 bytes/sectotal size is 0 speedup is 0.00[oldboy888@CHQ ~]$ ll /tmp/oldboytotal 0-rw-r--r-- 1 oldboy888 oldboy888 0 Mar 28 21:40 2018.txt-rw-r--r-- 1 oldboy888 oldboy888 0 Mar 27 23:21 test.txt推送push：[oldboy888@CHQ ~]$ rsync -avzP -e 'ssh -p 22' /tmp oldboy888@192.168.47.133:~sending incremental file listtmp/tmp/hosts 158 100% 0.00kB/s 0:00:00 (xfer#1, to-check=6/8)tmp/push.txt 0 100% 0.00kB/s 0:00:00 (xfer#2, to-check=5/8)tmp/.ICE-unix/tmp/oldboy/tmp/oldboy/2018.txt 0 100% 0.00kB/s 0:00:00 (xfer#3, to-check=2/8)tmp/oldboy/push.sh 0 100% 0.00kB/s 0:00:00 (xfer#4, to-check=1/8)tmp/oldboy/test.txt 0 100% 0.00kB/s 0:00:00 (xfer#5, to-check=0/8)sent 475 bytes received 119 bytes 5.85 bytes/sectotal size is 158 speedup is 0.27[oldboy888@hxw ~]$ ll ~/tmptotal 8-rw-r--r-- 1 oldboy888 oldboy888 158 Apr 15 2018 hostsdrwxr-xr-x 2 oldboy888 oldboy888 4096 Apr 15 2018 oldboy-rw-rw-r-- 1 oldboy888 oldboy888 0 Apr 15 2018 push.txt限速參數(shù)：--bwlimit=KBPSrsync -avzP --bwlimit=KBPS=10000 -e 'ssh -p 22' /tmp oldboy888@192.168.47.133:~特別提示：本文免密鑰驗(yàn)證連接分發(fā)文件是基于普通用戶oldboy的，如果要實(shí)現(xiàn)hosts等文件的推送工作，需要root權(quán)限的，該如何實(shí)現(xiàn)呢？方法有三：法一：可以把oldboy用戶配置成sudo權(quán)限用戶，然后就可以實(shí)現(xiàn)通過sudo功能來(lái)實(shí)現(xiàn)普通用戶推送只有root才能處理的問題了。

推薦該方法）法二：seduid權(quán)限位，即把所有客戶端如scp、cp、echo等命令修改為seduid位，這樣在推送文件時(shí)就可以使用上述命令了法三：配置root用戶的免登錄驗(yàn)證，但這樣一來(lái)又會(huì)。