Centos

GNU 隊列 - 替代品

  • May 12, 2011

我試圖建立一個基於 CentOS 的網格集群。所有機器的結構都有些相似(有些機器比其他機器有更多的處理器),我只需要將作業推送到隊列中,然後在可用節點上執行。每個 CPU 一個作業,其餘的則排隊等待。

John T 在Gnu Queue上給我指點非常有幫助,這似乎對我假裝的東西很受歡迎(這些工作基本上是洗澡腳本)。在接受他的回答之前,我仍在研究這個問題,但我正在向社區尋求一些回饋,因為 Gnu Queue 站點接縫表明該項目已經死了好幾年了。

我還研究了Sun Grid Engine,它看起來也很適合這份工作,不幸的是,Oracle 現在正在扼殺這個項目,而Univa還沒有發布他們的埠。

我只想從右腳開始,所以我的問題是,您是否對這種集群(網格計算)有任何實際經驗。你的建議是什麼。

先感謝您。

如果您不需要真正的排隊系統,GNU 並行可能足以同時在每個系統上啟動作業。如果您確實需要一個真正的調度器,那麼可能需要TORQUE 資源管理器和可選的像Maui這樣的調度器。

你也可以放棄 CentOS 轉而使用像PelicanHPC這樣的 live CD 。至少在那時,配置會更簡單(至少它可以做什麼)。假設你在某所大學,那裡根本沒有人做 HPC 和/或集群?沒有可以為您的項目提供 CPU 時間的國家實驗室或類似設施的聯繫人?

而這個問題可能是遷移到 Serverfault 的候選者。

引用自:https://serverfault.com/questions/268856