Configuration
Hadoop 配置文件——誰需要什麼?
當我設置 Hadoop 時,一個問題一直在我腦海中浮現,但我找不到答案。
哪些 Hadoop 配置文件需要復製到哪些節點。例如,我正在對以下文件進行更改:
hadoop-env.sh、core-site.xml、mapred-site.xml、hdfs-site.xml、master、slave
我是否需要將這些文件複製到我的所有 Hadoop 節點(如果我更新一個文件,這會很痛苦)。是否只需要複製某些文件?或者,我是否只需要在我的主節點上進行更改?
似乎在任何地方都找不到答案,所以我想在這裡問。(到目前為止,我一直在每個節點上鏡像所有文件,但這似乎效率低下。我的設置確實有效。)
就讀取哪些文件而言:
hadoop-env.sh
: 一切core-site.xml
: 一切hdfs-site.xml
: HDFS (NameNode, SecondaryNameNode, DataNode)mapred-site.xml
: MapReduce (JobTracker, TaskTracker)masters
和slaves
:我不認為這些是由應用程序直接讀取的,而是由管理腳本使用的。但是,我建議設置一個部署系統,以便您可以輕鬆地將所有這些文件分發到所有節點,而不是試圖找出需要什麼。這可能只是一個
ssh
使用公鑰身份驗證呼叫的腳本,也可能是 Puppet 或 Chef 之類的東西。