Hadoop

基於樹莓派的 Hadoop 集群

  • July 8, 2012

是否至少可以從基於 Raspberry Pi 的節點建構 Hadoop 集群?這樣的集群能否滿足Hadoop的硬體要求?如果是這樣,需要多少 Raspberry Pi 節點才能滿足要求?

我知道來自幾個 Raspberry Pi 節點的廉價集群並不強大。我的目的是在不失去台式機或筆記型電腦上的個人數據的情況下組織集群,並使用這個集群來研究 Hadoop。

如果您提出任何更好的組織廉價 Hadoop 集群用於學習目的的想法,我將不勝感激。

UPD:我看到推薦的 Hadoop 記憶體量是 16-24GB、多核處理器和 1TB 硬碟,但看起來並不是最低要求。

**UPD2:**我知道 serverfault.com 是一個與生產系統相關的問題的地方。與配置系統以供娛樂和個人使用相關的問題超出了範圍。很抱歉問這個問題。

這將是非常糟糕的。Hadoop 像大像一樣吃堆。預設堆大小為 1000 MB,但幾乎每個人都會增加它。256 MB 的 RAM 不會讓您走得太遠,在 GPU 和作業系統付出代價之後,您可能不得不將 Java 限制為 128 MB,並且最小的作業將用完堆。

JVM 在 ARM 上也很慢。Red Hat 計劃與 Linaro 合作,通過 Red Hat Enterprise Linux 7 改進這一點,但暫時不要期望在 ARM 上合理地執行 Java 伺服器負載。

引用自:https://serverfault.com/questions/405834