Hadoop

可以防止hadoop作業覆蓋-Xmx嗎?

  • January 4, 2011

我有一個執行 Hadoop-0.20.2 的共享集群。有時使用者不會意識到選擇的預設記憶體設置是基於可用記憶體量的。我可以強制 Xmx 的最大值嗎?

在 hadoop-env.sh 中有一個配置選項:

# The maximum amount of heap to use, in MB. Default is 1000.
export HADOOP_HEAPSIZE=1500

該文件存在於 namenode 以及所有 map/reducers 上

引用自:https://serverfault.com/questions/209636