Performance

關於儲存性能的問題

  • May 7, 2015

如果你們能回答我一些關於我們儲存性能的問題,我會很高興的。設置

  • 帶 2GB 記憶體的 HP P2000 SAS
  • 8x 1TB SATA 7200 RPM 儲存
  • RAID6
  • 3 個帶 SAS HBA 適配器的主機
  • VMWare vSphere 4.1

基本上,我必須查看我們的儲存的主要原因是將監控 VM 從其中一台主機的本地磁碟傳輸到儲存。因此,在進行任何遷移之前,我使用 iometer 設置了一個新 VM,並在夜間執行測試,此時集群中沒有執行重要的作業。此 VM 只有 1 個發電機工作執行緒。

Access Specification Name   IOps    Read IOps   Write IOps  MBps    Read MBps Write MBps    Transactions per Second Average Response Time   Average Read Response Time
512B; 100% Read; 0% random  5617.191059 5617.191059 0.000000    2.742769    2.742769    0.000000    5617.191059 0.176979    0.176979
512B; 75% Read; 0% random   3190.524306 2369.761725 820.762581  1.557873    1.157110    0.400763    3190.524306 0.312244    0.321925
512B; 50% Read; 0% random   1055.807449 524.819993  530.987456  0.515531    0.256260    0.259271    1055.807449 0.946000    0.421600
512B; 25% Read; 0% random   1006.956966 239.414257  767.542709  0.491678    0.116901    0.374777    1006.956966 0.853556    0.687116
512B; 0% Read; 0% random    35.123065   0.000000    35.123065   0.017150    0.000000    0.017150    35.123065   28.349538   0.000000
4K; 75% Read; 0% random 3034.296095 2247.847150 786.448945  11.852719   8.780653    3.072066    3034.296095 0.328614    0.333793
4K; 25% Read; 0% random 2237.793260 587.671309  1650.121951 8.741380    2.295591    6.445789    2237.793260 0.445755    0.636275
16K; 75% Read; 0% random    627.852712  474.796322  153.056389  9.810199    7.418693    2.391506    627.852712  1.591288    1.840213
16K; 25% Read; 0% random    478.619741  116.666329  361.953412  7.478433    1.822911    5.655522    478.619741  2.086953    1.281547
32K; 75% Read; 0% random    848.266506  649.372846  198.893660  26.508328   20.292901   6.215427    848.266506  1.176316    1.334378
32K; 25% Read; 0% random    443.441341  117.275291  326.166050  13.857542   3.664853    10.192689   443.441341  2.253707    7.158792

hdparm 讀取測試(使用 hdparm -t /dev/sda)給出了 300MB/s。

我們的監控系統從 +- 40 個虛擬機和 30 個設備獲取資訊,每個主機至少有 10 個服務,但實際上是仙人掌產生了大部分 IOPS。它每分鐘同時大規模更新 RRD 數據。儘管如此,我還是決定將虛擬機遷移到儲存中。遷移後,我測量了監控產生的 IOPS - 平均值為 800,但每個 VM 上的任何讀取操作後的響應時間都非常糟糕 - 5-10 秒,監控實際上殺死了一些 VM,因為核心在一些上超時IO 操作。hdparm 給出了 1.4MB/秒。我關閉了 cacti RRD 處理,它執行良好,但我們沒有圖表。

我的問題:

**1)**您如何看待此設置中的 iometer 性能?應該更好,沒關係,還是我應該搜尋一些配置錯誤?

**2)**您是否建議使用帶有監控軟體的單獨物理主機並且不要用這種IOPS“打擾”儲存?

**3)**這個問題更籠統。在儲存測試之後,我們可以獲得不同塊大小的 IOPS/mbps。但是如何評估應用程序主要使用的塊大小?例如,數據庫系統通常使用 75% 的讀取操作,但是塊大小是多少,以便我可以將其與我的結果進行比較?在不知道這些資訊的情況下,我的 iometer 測試只是數字。

更新1: 感謝您的回答。

所以我們所做的是,我們為 rrd 處理創建了 ramdisk,並且所有 rrd 每小時同步到監控磁碟。一切都執行得很快,但我們會考慮為這種需要良好寫入性能的 IOPS 創建另一個具有 RAID 10 的 RAID 組。

所描述的設置並不像它可能的那樣快。這是一種受支持的安排,因為您最多可以將四個主機連接到設置(如果您放棄 SAS 多路徑)。

你的觀點:

  • 性能不好,但適合您的配置。我將參考Server Fault canonical RAID post,它基本上指出 RAID 6 不適合隨機寫入工作負載。虛擬機和監控系統因這種訪問模式而臭名昭著。如果可能,RAID 1+0 是更好的選擇。
  • 確實虛擬化了我的監控主機,但建構了儲存以適應它(偏向於更大的寫入記憶體,在 VM 中設置適當的 I/O 電梯選項)。這適用於其他基於 RRD 的工具(orcaOpenNMS),但絕對適用於 Cacti。
  • 就測試而言,我認為跟踪平均事務/塊大小並不重要,因為更大的架構問題可以產生更大的全面收益。不過,您可以跟踪應用程序。此外,考慮通過 vCenter 或 esxtop/resxtop 檢查 VM 儲存性能。

引用自:https://serverfault.com/questions/398630