Log-Files

大型日誌管理和儲存

  • January 28, 2013

我經常處理大量日誌(每天增長約 1Gb),我以舊方式管理它們,在它們旋轉到中央伺服器之前轉儲日誌,然後儲存在磁帶上。

現在,因為當局可以要求這些日誌,在某些時候我必須閱讀它們,找到他們需要的並將有趣的部分發回[我位於意大利]……無論如何處理這些東西已經變得非常困難隨著生成的日誌量不斷增長,我的磁帶儲存以及跟踪這些內容並不像幾年前那麼容易。

我已經嘗試過 Graylog2,它似乎是一個非常好的軟體,我唯一的問題是沒有簡單的方法可以將日誌導出到另一個儲存,並在需要時導入回來(也許我理解錯誤它的工作方式)。

有人可以為我提供他們用來管理如此數量的日誌的過程的範例,或者提供一種解決方案來輕鬆導出日誌並在需要時重新導入嗎?

提前致謝

就個人而言,我們使用 Graylog2 - 我們的日誌可能沒有您的那麼大,但它是儲存和管理日誌的好方法。

在您的情況下,我會注意 Graylog2 使用 ElasticSearch 進行日誌儲存。只要您的伺服器可以處理這些內容,請將 Graylog2 設置為使其保持實時和可搜尋。(您可以將其設置為刪除超過 X 天的內容。)

出於存檔目的,每個設置的時間間隔(即每天),執行您編寫的腳本,該腳本將把該時間間隔的數據導出到冷儲存。這應該像對 ElasticSearch 的簡單 JSON 查詢一樣簡單。

我不確定你為什麼需要重新導入它。這都是文本,因此您可以根據需要使用標準工具(即 grep)進行搜尋,或者您可以編寫自己的 ElasticSearch 導入器。

引用自:https://serverfault.com/questions/472703