Hadoop

在 Hadoop 中,如何顯示 -copyFromLocal 的目前程序

  • November 8, 2016

我還是 Hadoop 的新手,這次我嘗試處理一個 106GB 的文件。我曾經-copyFromLocal將那個大文件複製到我的 Hadoop DFS 中,但由於文件很大,我不得不等待很長時間而不知道目前的複制狀態。

有沒有辦法用這個命令顯示目前的文件複製狀態?

提前感謝你們的幫助!

CopyFromLocal無法顯示文件複製進度。或者,您可以打開另一個 shell 並執行$ watch hadoop fs -ls <filenameyouarecopying>. 這將每 2.0 秒顯示一次文件及其大小。

也可以使用pv命令跟踪本地文件的讀取進度並將文件內容通過管道傳輸到hdfs dfs標準輸入:

pv mylargefile.txt | hdfs dfs -put - /path/to/file/on/hdfs/mylargefile.txt

引用自:https://serverfault.com/questions/588280