Configuration

Hadoop 配置文件——誰需要什麼?

  • August 9, 2012

當我設置 Hadoop 時,一個問題一直在我腦海中浮現,但我找不到答案。

哪些 Hadoop 配置文件需要復製到哪些節點。例如,我正在對以下文件進行更改:

hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml、master、slave

我是否需要將這些文件複製到我的所有 Hadoop 節點(如果我更新一個文件,這會很痛苦)。是否只需要複製某些文件?或者,我是否只需要在我的主節點上進行更改?

似乎在任何地方都找不到答案,所以我想在這裡問。(到目前為止,我一直在每個節點上鏡像所有文件,但這似乎效率低下。我的設置確實有效。)

就讀取哪些文件而言:

  • hadoop-env.sh: 一切
  • core-site.xml: 一切
  • hdfs-site.xml: HDFS (NameNode, SecondaryNameNode, DataNode)
  • mapred-site.xml: MapReduce (JobTracker, TaskTracker)
  • mastersslaves:我不認為這些是由應用程序直接讀取的,而是由管理腳本使用的。

但是,我建議設置一個部署系統,以便您可以輕鬆地將所有這些文件分發到所有節點,而不是試圖找出需要什麼。這可能只是一個ssh使用公鑰身份驗證呼叫的腳本,也可能是 Puppet 或 Chef 之類的東西。

引用自:https://serverfault.com/questions/415601