快速重複 grep/搜尋的索引日誌

我有一組詳細的日誌文件，在解決問題的過程中，我會反復進行 regrep。

我通常有大約 1-10GB 的 50-150 個文件集，我會花幾個小時然後再也不看。

即使使用 SSD 和大量 RAM，也可能需要幾十秒才能獲得結果。它也只有 1 個核心，所以如果它可以並行搜尋，那也很好。

我想知道是否可以通過某種方式進行索引來做得更好。最好先花幾分鐘時間來獲得更好的性能。

最好它是我可以在目錄中的終端上執行的東西，並且有一個像 grep 這樣的界面。然後最後我可以完全刪除文件夾，這也會刪除索引。

這聽起來可能嗎，是否存在某些東西？我的下一個最佳選擇是什麼？

考慮到您的要求，您最好的選擇可能比您願意設置的要復雜得多。

使用可以為您讀取/跟踪文件的日誌聚合堆棧（流利，索引它們Elastic Search並為您提供漂亮的Kibana界面。

只需將其配置為根據需要刪除它們即可。

這只是一個解決方案堆棧，請查看logstash以及許多其他解決方案

引用自：https://serverfault.com/questions/540528