Linux
有哪些好方法可以監控 IO 吞吐量和 NFS 共享客戶端的負載?
我有一個 ETL 程序,它從 NFS 掛載打開文件來處理它們。同時打開的文件數量是可配置的。
我沒有對 NFS 伺服器的 shell 訪問權限。
我可以在客戶端上使用哪些好的 shell 實用程序來確定我使用 NFS 共享的效率如何?我想最大化我的吞吐量(平衡過多的數據使我的 ETL 氾濫),顯然,我不想給 NFS 伺服器帶來太大的壓力。
與必須登錄到 NFS 伺服器並在那裡執行 IO 監控實用程序相比,我可以從客戶端做多少?
我將從 nfsstat 和 iostat 開始。
例如,您可能想觀看:
watch -n1 'nfsstat -c' iostat -n 1 1
您可能還會發現管道查看器很有用,具體取決於您的 ETL 流程對數據執行的操作。
按照下面的教程,它的基本用法是這樣的:
pv access.log | gzip > access.log.gz
它會讓你知道有多少數據已完成,還有多少數據還剩多少。
您還可以通過它連結命令:
pv -cN source access.log | gzip | pv -cN gzip > access.log.gz