Linux
OpenShift rsync 錯誤
我正在開發一個 python3 腳本,它通過 rsync 從安裝在 pod 中的 PersistentVolumeClaims 複製數據。該腳本在一個 pod 中執行,因此 rsync 連接是從一個 pod 到另一個遠端 pod。
問題是,只要要複製的數據量有點大,rsync 就會失敗並出現以下錯誤:
2020-05-05 16:14:06,330 - OCPRSYNCER - INFO - rsync -ahrvz --quiet --delete --progress=true --rsh='oc rsh -n test-rsyncer -c postgresql' postgresql-2-h8qjb:/var/lib/pgsql/data/ /opt/app-root/backup/PVCs/test-rsyncer/postgresql/ E0505 16:14:09.843986 26 v2.go:147] write /dev/stdout: resource temporarily unavailable
容器的使用者是 root,這些是 pod 內的 ulimits 設置:
sh-4.2# whoami root sh-4.2# ulimit -a core file size (blocks, -c) unlimited data seg size (kbytes, -d) unlimited scheduling priority (-e) 0 file size (blocks, -f) unlimited pending signals (-i) 128597 max locked memory (kbytes, -l) 64 max memory size (kbytes, -m) unlimited open files (-n) 1048576 pipe size (512 bytes, -p) 8 POSIX message queues (bytes, -q) 819200 real-time priority (-r) 0 stack size (kbytes, -s) 8192 cpu time (seconds, -t) unlimited max user processes (-u) 1048576 virtual memory (kbytes, -v) unlimited file locks (-x) unlimited sh-4.2#
最後,這個選項
--blocking-io
對我有用。引用 man: –blocking-io 對遠端 shell 使用阻塞 I/O
以下命令成功執行:
rsync --blocking-io -ahrvz --delete --rsh='oc rsh -n test-rsyncer -c postgresql' postgresql-2-h8qjb:/var/lib/pgsql/data/ /backup/PVCs/test-rsyncer/postgresql