Zfs
HDFS 可以安裝在 ZFS 或 BTRFS 硬碟上嗎?
我是 hadoop 新手,對 HDFS 如何與 ZFS 或 BTRFS 一起工作感到困惑。
可以使用 ZFS 安裝物理驅動器,然後將 HDFS 安裝在 ZFS 之上嗎?
還是可以直接安裝HDFS?
是的。HDFS 可以安裝在幾乎任何支持“/”目錄命名和組織約定的 Linux 文件系統上,並且至少有 2 級目錄深度。
(來源:https ://hadoop.apache.org/docs/r1.2.1/hdfs_design.html )
是的; 我的集群在我為 HDFS 配置的分區上使用 btrfs。我要提醒您注意的一件事是使用 brtfs 的透明壓縮功能,該功能通過掛載選項啟用。Hadoop HDFS 守護程序知道卷的大小和節點上用於 HDFS 的 freeused 及其上的可用空間,如果啟用壓縮,這些大小值將變得“不真實”,即斷言“50% 已滿” “500MiB”當卷被安裝壓縮時,既不意味著它只能容納 500MiB,也不意味著它是半滿的(在 btrfs 卷上啟用壓縮,您可以編寫一個比卷的實際大小大得多的全零文件)。由於這種不可靠性以及壓縮和解壓縮會產生額外的 CPU 成本,
避免壓縮 HDFS 卷的另一個原因是,當守護程序重新排列塊與您的複制設置和所有內容時,機器將在一個節點上讀取時解壓縮塊,只是為了將它們寫回到另一個節點上壓縮。
話雖如此,Hadoop 團隊可能要考慮實現的一個潛在功能是在 HDFS 級別處理壓縮;在這種情況下,塊只會在通過程式碼寫入或讀取時被壓縮或解壓縮,以包含 hdfs 實用程序。不過,我只是不確定這是否值得 CPU 成本。