Hadoop
在 hdfs 檔中復製文件
擁有一個 35 個節點的集群,其中包含大量塊:每個數據節點約 450K 塊。
在配置更改(包含機架重新分配和 NameNode Xmx 增加)之後,HDFS 成為一個問題。它無法對隨機塊執行複制操作,當我嘗試將文件複製到不同的目錄時,它通常會創建
_COPYING_
中間文件並卡住。如果我再次嘗試相同的文件,它通常會成功。如果它最終成功複製了卡住的文件,它會在控制台中發出警告
WARN hdfs.DFSClient: Slow waitForAckedSeqno took 229398ms (threshold=30000ms)
可能是什麼原因造成的?
解決了:
MTU(巨型數據包大小)設置為 1500 字節,更改為 9000