跳到主要內容

Setting rsync service on SmartOS

Rsync是一套歷久彌新的Linux/Unix系統備份工具,透過rsync可以達到差異的備份方式,讓整個備份的動作可以更有效能的執行... 而MiCloud上提供的主機預設都預載有rsync的功能,而Linux上使用可能大家已經有嚐試過,這邊複習一下,也順便說一下Windows (沒錯,Windows上也可以透過rsync來將資料備份到遠端的rsync server上唷!)上操作rsync的方式。

Rsync Server設定

Step 1: 編輯設定檔
$ vi /etc/rsync.conf
內容:
log file = /tmp/rsyncd.log
pid file = /tmp/rsyncd.pid
port=873
[backup]
hosts allow = 192.168.1.10              #允許的clisnt IP
hosts deny = *                          #除上面allow設定的IP,不允許存取的Client,請設為* 全部
comment = ewant upload file backup
path = /home/backup/upload
uid = root
gid = root
auth users =backup
secrets file = /etc/rsyncd.secrets
read only = no
exclude = temp/ .*                      #要排除的備份檔案或目錄,須以空格區分

設定檔中的backup是備份的模組,這個名稱可以自由取,將會用在client端操作指令上

Step 2: 編輯密碼檔
$ vi /etc/rsyncd.secrets
內容:
backup:xxxxxxxxxxxxxxxxx

上面rsyncd.secrets文件中是存放"帳號:密碼"的內容,最後,密碼檔案必須將權限變更為600,不然連線上會有異常...

Step 3: 啟動服務
$ rsync --daemon --config=/etc/rsync.conf --no-detach

啟動服務的部份,如果沒有加上--no-detach的話,則服務會啟動在背景運作

Client端操作(SmartOS/Linux/Mac)

大部分的Linux/Unix系統都有預載rsync了,這部份部戲談安裝部分...

Step 1: 編輯密碼檔
$ vi .rsync
內容:
xxxxxxxxxxxxxxxxx

此步驟勢將server side step 2中設定的密碼部分寫入密碼檔,檔案位置存放在可以讀取的位置即可,名稱也不拘,之後指令需要指定密碼檔的路徑與名稱

Step 2: 執行同步
client端的同步指令如下:
rsync -avz --password-file=[密碼檔][欲同步資料夾] backup@[rsync server ip位置]::[模組名稱]
範例:
$ rsync -avz --password-file=.rsync /tmp/test backup@192.168.1.10::backup


Client端操作(Windows)

Windows的安裝,請至: https://www.itefix.no/i2/cwrsync-get 取得安裝檔,安裝與基本的操作可以參考官方文件。安裝完成後,需要設定環境變數PATH可以吃得到安裝的目錄下的bin,這樣才可以使用到下面的rsync指令,我所安裝的版本因為只有cygrsync.exe,這邊我直接做一個快捷,命名為rsync.cmd,這樣日後操作上比較方便。

Step 1: 編輯密碼檔
同Linux系列的Step 1

Step 2: 執行同步
指令的操作部分,指令格式不便,但因為系統先天性差別,路徑的寫法稍微與Linux系列有所不同...
  • 其中路徑仍然只吃"/"而不是Windows慣用的"\"
  • 針對磁碟位置的定義,最前面要加上"/cygdrive",例如: c:/opt/rsync.conf,則路徑定義為:/cygdrive/c/opt/rsync.conf
  • 操作人員,不能是Administrator (這部份滿怪的,但是實際上操作如果是Administrator,則會出現"password file must be owned by root when running as root"的錯誤,說明文件在這裡)
範例:
$ rsync -avz --password-file=/cygdrive/c/Users/simon/.rsync /cygdrive/d/tmp/test backup@192.168.1.10::backup

不透過Rsync Server,直接做Rsync

架設rsync server雖然說不難,但是終究多了個餓步驟,其實rsync也可以像scp一樣直接來的... 指令如下:

rsync -r [預備份資料] [備份目的地]

範例:
$ rsync -r /cygdrive/d/tmp/test backup@192.168.1.10:/home/backup/upload

上面操作是針對Windows的系統(路徑有指定了/cygdrive),如果是Linux系列的使用者,直接使用Linux路徑即可∼

參考文獻:

這個網誌中的熱門文章

Oracle LISTAGG

同事介紹的一個Oracle的好用查詢:LISTAGG
SELECT A.GROUP_ID,A.KEY, LISTAGG(A.VALUE,'; ')WITHINGROUP(ORDERBYA.VALUE)as GG  fromSYS_PROPERTIESaGROUP byA.GROUP_ID,A.KEY
LISTAGG可以將group後的結果會總顯示於一個欄位 上述SQL原本A.VALUE會是一個row一個row的排列 使用LISTAGG之後,可以將A.VALUE顯示在同一個row中 並且可以指定間隔符號(在此設定為';') 針對某一些報表查詢非常有用唷 :D

使用GCP Cloud Builder建置CI/CD Flow

服務的建置通常是持續性的作業,而部署則一般是專案初期建置一次,未來可以沿用該部署設定... 這樣的流程走向自動化,在Container的環境又更是重要... 本篇介紹一下,在Google雲端,我們可以搭配Source Repository與Build Trigger等服務來完成服務的自動建置與部屬,讓封裝Container與部署到Container Engine的動作可以一氣呵成...
首先幾單瞭解一下一個Container Engine服務的建置與部屬過程...
使先,建立Container Engine Cluster,透過GCP Winzard可以很快速地開立您的GKE Cluster…

假設您的cluster是叫做demo-cluster,則可以透過下面的指令來跟GKE建立連線
$ gcloud container clusters get-credentials demo-cluster --zone asia-east1-a
這串指令不用記ㄛ~可以在Cluster的頁面找到他...

點選複製,即可貼到您的Terminal執行...

跟GKE建立鏈結後,接下來可以部署您的城市,這邊我們以我的一個範例程式Demoweb (https://github.com/peihsinsu/demoweb) 為例,

這個專案中,包含幾個重要結構:
app/ : 放置您的程式,在Dockerfile中會將該資料匣複製到Docker Image中 k8s/ : 放置k8s的deployment與service描述檔 Dockerfile : 封裝docker的描述檔,會以node.js的image為基礎來建置執行環境 cloudbuild.yaml : Google Cloud Build Trigger的步驟描述檔

Flashback Query

感謝我的好友提供的: 在Oracle好用的指令...
Flashback Query: 讓異動過的資料表回到歷史時間點 Step 1. è
show parameter undo_retention  PS: 這個參數顯示系統上設定歷史保留時間(ex: 900 = 900秒) Step 2. è CREATETABLE XXXXX_0815 ASSELECT *  FROM XXXXXASOFTIMESTAMPTO_TIMESTAMP('2011-08-15 12:00:00','YYYY-MM-DD HH24:MI:SS');
PS: 透過as of timestamp方式取出該時間點的表格資料