有人知道用於檢測和報告日誌文件中重複模式的工具嗎？

我需要從 Java 應用程序 (log4j) 監視一些大的嘈雜日誌文件（500m/天）。現在我手動查看文件，grep 查找“錯誤”等等。然而，一個工具應該可以發現文件中的重複模式，對它們進行計數，並為各個條目的詳細資訊提供下鑽。有人知道這樣的工具嗎？基於文本或 Web 的 UI 會很好。

我聽說有人對日誌文件應用貝氏過濾來發現有趣的東西而不是正常日誌條目。他們使用垃圾郵件過濾器，正常無趣的條目被認為是“好”，而不尋常的條目被認為是“垃圾郵件”，並使用他們能夠轉移的顏色。

對我來說，這聽起來很像機器學習的東西，但話又說回來，我還沒有在實際中看到它，只是在喝啤酒時聽說過它。

Splunk為這類東西創造了奇蹟。我在內部使用它來收集所有日誌並通過其出色的基於瀏覽器的界面進行快速搜尋。

引用自：https://serverfault.com/questions/342237