Linux

需要有關硬體 Raid、文件系統和 LVM 的建議

  • November 14, 2019

在過去的幾個小時裡,我在這裡查看了許多重複的問題,但沒有一個真正闡明我在工作中遇到的問題(信心),不完全是。

所以我們有一台新的 Hetzner 機器。4 x 3TB、64GB RAM、LSI MegaRAID SAS 9260-4i(也安裝了 BBU)和 Xeon E3-1275,還有一些良好的網路連接。它非常適合我們的案例。

問題

我是 Sysadmin / Linux Guy,90% 的事情我都很好,但我很少從頭開始建構伺服器,我們所有的其他伺服器都使用 Software Raid (mdadm)。我從來沒有用megacli從頭開始設置Hardware Raid,我現在已經這樣做了,但是感謝任何回饋,除了使用ext2、ext3、ext4和btrfs之外,我對Xfs或ZFS的期望沒有任何經驗

我想要什麼建議

  1. 因為Raid5比Raid10給了我們更多的空間,老闆想選擇Raid5。我不確定 Raid10 是否會產生很大的不同,因為所有文件都通過網際網路提供給大多數英國使用者(英國 -> 德國)。你認為 Raid5 到 Raid 10 會產生很大的性能

差異嗎? 2. 我的老闆要求我們使用 xfs 作為文件系統,我贊成這個,我們不會生成這麼多文件,我們只是在尋找一個更像 NAS 用來儲存文件的文件系統,直到我們每次更新在我們向客戶發送文件的 2 小時內,我們還將寫入大量數據並在一天的某些階段使用相當多的 IOP。我們有時會讓開發人員連接到伺服器(通過網站)以測試他們的新軟體版本。出於所有目的,我計劃只使用 ext4 或 ext3,但如果您認為 xfs 甚至 ZFS 會更好,我還是很樂意學習。

有什麼建議麼? 3. LVM,現在這是我個人想要添加到我們所有新伺服器建構的東西。快照和卷大小調整在我們擁有的 2 台伺服器上多次節省了我們的 @$$,我認為將它用作標準建構的一部分是個好主意。我只在 ext4 文件系統中使用過這個,這有關係嗎?我猜不是?

我知道這是一個很長很具體的故事,但我真的很感激你能給我的任何幫助,或者即使你能指出我正確的方向,我從周一開始就一直在各種不同的板子和文章上閱讀這些主題,我可以現在告訴我的老闆對我感到沮喪:(

root# lsblk
NAME         MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda            8:0    0  8.2T  0 disk 
├─sda1         8:1    0  512M  0 part /boot
├─sda2         8:2    0  8.2T  0 part 
│ ├─vg0-root 253:0    0  8.1T  0 lvm  /
│ ├─vg0-swap 253:1    0   64G  0 lvm  [SWAP]
│ └─vg0-tmp  253:2    0   20G  0 lvm  /tmp
└─sda3         8:3    0    1M  0 part 

root# megasasctl
a0       LSI MegaRAID SAS 9260-4i encl:1 ldrv:1  batt:FAULT, module missing, pack missing, charge failed
a0d0      8382GiB RAID 5   1x4  optimal
a0e252s0   2794GiB  a0d0  online  
a0e252s1   2794GiB  a0d0  online  
a0e252s2   2794GiB  a0d0  online  
a0e252s3   2794GiB  a0d0  online


root# megacli -LDInfo -Lall -aAll | grep 'Cache Policy:'
Default Cache Policy: WriteBack, ReadAhead, Direct, Write Cache OK if Bad BBU
Current Cache Policy: WriteBack, ReadAhead, Direct, Write Cache OK if Bad BBU

root# df -Th
Filesystem           Type      Size  Used Avail Use% Mounted on
udev                 devtmpfs   16G     0   16G   0% /dev
tmpfs                tmpfs     3.2G  600K  3.2G   1% /run
/dev/mapper/vg0-root xfs       8.2T   11G  8.1T   1% /
tmpfs                tmpfs      16G     0   16G   0% /dev/shm
tmpfs                tmpfs     5.0M     0  5.0M   0% /run/lock
tmpfs                tmpfs      16G     0   16G   0% /sys/fs/cgroup
/dev/mapper/vg0-tmp  reiserfs   20G   33M   20G   1% /tmp
/dev/sda1            ext4      488M   52M  401M  12% /boot
tmpfs                tmpfs     3.2G     0  3.2G   0% /run/user/0

提前感謝您提供任何可能的幫助。

1/ r5 與 r10 性能:取決於您的 IO 工作負載(讀/寫比率、隨機/順序訪問模式、工作人員計數//、io 大小、讀取 iops、寫入 iops)。

從問題 2 中,我了解到您的工作量遠非繁重,而且主要是讀取 iops,這是您進行 raid5 保護時的一個好點。所以我認為你的老闆對 r5 是正確的(他是老闆,他總是對的)

2/ 目前 XFS 文件系統不能收縮。LVM+ext4 是一個不錯的選擇,我在數千個節點上看到了執行關鍵生產的東西。ZFS 也是一個很好的選擇,特別是對於快照功能、發送/接收以進行災難恢復,但發行版並不總是支持。取決於您是否需要官方支持。(也許 canonical 在 ubuntu 上提供 zfs 支持,待驗證)

3/在我看來,由於您解釋的原因,LVM 絕對是必須具備的(除非您選擇 ZFS)。

PS1:我建議將根 lv 縮小(意味著由於 xfs 文件系統重新安裝…)到 100GB 左右,並為數據/應用程序創建另一個 lvs。以避免應用程序文件系統已滿,使您的整個系統已滿。

PS2:你的raid控制器電池沒有問題嗎?

引用自:https://serverfault.com/questions/991808