Hadoop

在 hdfs 檔中復製文件

  • May 16, 2017

擁有一個 35 個節點的集群,其中包含大量塊:每個數據節點約 450K 塊。

在配置更改(包含機架重新分配和 NameNode Xmx 增加)之後,HDFS 成為一個問題。它無法對隨機塊執行複制操作,當我嘗試將文件複製到不同的目錄時,它通常會創建_COPYING_中間文件並卡住。如果我再次嘗試相同的文件,它通常會成功。

如果它最終成功複製了卡住的文件,它會在控制台中發出警告

WARN hdfs.DFSClient: Slow waitForAckedSeqno took 229398ms (threshold=30000ms)

可能是什麼原因造成的?

解決了:

MTU(巨型數據包大小)設置為 1500 字節,更改為 9000

引用自:https://serverfault.com/questions/849651