Hosting

2個使用者級別的自製大數據集群訪問?

  • September 30, 2010

這個標題可能沒什麼意義,所以這裡是一個例子。

我有一個文件託管站點,它提供大量半隨機訪問的文件。

設置如下:

  • 大馬力前端+DB伺服器,也對需要編碼的文件進行編碼
  • 新文件伺服器,用於儲存新上傳的內容,可能(並且通常)可以快速訪問,它具有 500GB 的突襲 SSD 儲存,可以推動超過 3GBit 的流量。
  • 3 個便宜的節點伺服器,在 raid1 中包含 2 個 750GB SATA 驅動器,其中超過 2 週的文件被存檔,來自 SSD 伺服器(如上所述)。

通過子域(通過 modsec)以直接的方式(server1.domain.com、server2.domain.com 等)訪問每台伺服器上的文件

我遇到的問題是這個。我推出了一項“高級”服務,人們每月支付少量費用,即可獲得無廣告、快速訪問網站內容的服務。登錄後,他們會通過 premium.server1.domain.com 通過不同的 modsec 腳本訪問相同的文件,並使用不同的密碼。這一切都很好而且花花公子….除了便宜的節點伺服器都是 IO 綁定的,所以通過不同的、不飽和的網路訪問它們上的文件沒有任何區別,因為它不能足夠快地讀取驅動器。

什麼是使站點上的文件可以通過 2 個不同的網路路由訪問的好方法,其中 1 個將是飽和的(“免費網路”),而所有其他文件都在一個不飽和的“高級”網路上?

等等,您的問題與您在解釋中途已經回答的問題有關。就像你說的,你的問題不在於網路適配器的飽和,你受到 SATA 驅動器上 IO 的限制。還是我看錯了?

假設這是正確的,您可以根據舊文件的訪問模式進行一些改進。如果您傾向於一次在單個文件上“執行”(即,指向該文件的連結發佈在部落格上,然後突然您收到 500 個請求同一文件的唯一 IP),那麼您應該將該文件移動到記憶體或頁面文件記憶體,或在提供之前將其暫存到 SSD 伺服器。

最近有人問了一個類似的問題,我探索了其他可能的解決方案: Windows Server 2003 - 處理數百個同時下載

引用自:https://serverfault.com/questions/127561