分佈式日誌記錄文本文件

我已經在不同的機器上生成了幾個日誌。每個日誌代表使用者執行的操作。日誌是通過使用 file_put_contents 附加在 php 中生成的文本文件。日誌中的一行代表使用者執行的操作、時間等。對於每個使用者操作，都有很多這樣的日誌。現在我想創建一個使用者配置文件，其中包含他通過按時間升序瀏覽這些日誌所做的所有操作。我該怎麼做呢？

我還計劃將這些使用者配置文件儲存在 MYSQL 數據庫中。我們有超過 50GB 文本的大數據，我必須從中製作這些配置文件。這個可以嗎？

是否有任何工具可以讓我從這些日誌中獲取商業智能。（假設我想查看今天有多少使用者執行了特定操作等）。

對於隨機的 MySQL 伺服器來說，50GB 可能有點多。根據您的計劃，您可能需要考慮多個 MySQL 伺服器（分片）。絕對有可能獲得具有足夠記憶體的伺服器以將整個數據集保存在記憶體中，這將有所幫助。

如果您只是將這些儲存在文本文件中，則需要一些自定義應用程序來為您檢查日誌。沒有現成的東西可以直接為此工作。

引用自：https://serverfault.com/questions/212354