Linux
用於儲存網路流量的數據庫
我正在開發一個軟體來監控網路流量，我需要一個能夠非常快速地儲存和查詢數據標頭欄位的數據庫伺服器。我知道有一個 .pcap 文件格式，但它不適合我，因為我每天要儲存大約 10 TB 的流量。是否存在某種用於網路流量的專用數據庫伺服器？
在那個音量上，你問錯了問題。您應該問的問題是：我需要用我擷取的資訊回答哪些問題？
從中您可以回答儲存引擎的問題。你真的需要每個字節嗎？您是否需要結構化來回答臨時問題，或回答一些非常結構化的具體問題？
您可以將其分片到多台機器上，還是僅限於單個系統？
您是否需要同時讀取和寫入 - 這將使您的 IOPS 增加一倍以上 - 還是在不同時間完成？您需要實時索引，還是可以單獨建構它們？你需要索引嗎？什麼？
您在這裡談論的是超過 100MB/s 的數據儲存，但這是否反映了負載？您有突發流還是穩態？接收和儲存之間是否存在延遲是否重要？您是否必須按順序送出，或者您可以對查詢端的數據進行無序可見性？
無論如何，要盡可能好地回答具體問題，請查看現有的各種 NetFlow 儲存和分析工具。這些與您可能會得到該問題的通用答案一樣接近。