Compression
elasticsearch 對數據的壓縮效果如何?
我正在尋找彈性搜尋概念驗證所需的伺服器範圍。
最終,我的問題是:
給定 1GB 的由 elasticsearch 索引的 json 文本,我可以期望在磁碟上被 elasticsearch 佔用多少?
顯然有很多變數,但我會選擇數量級。100MB?100GB?
我知道彈性搜尋執行壓縮(http://www.elasticsearch.org/guide/reference/index-modules/store/),但我不知道索引和其他結構佔用什麼樣的足跡。
軼事答案是可以接受的,但也請讓我知道您使用的是什麼版本。
答案是:視情況而定。
從事 Elasticsearch 工作的 Adrien Grand 的一篇部落格文章從 Lucene 的角度對此進行了一些基準測試。看起來他得到了大約 2 倍的改進。
他還提到了LUCENE-4226,其中一些底層壓縮工作已經完成。其中列出了一些基準,比較了測試的各種壓縮算法。
同樣,根據此Elasticsearch 0.19.5 發佈公告,儲存級壓縮似乎預設為 LZF,Snappy 將在未來一段時間內推出。進一步環顧顯示,Snappy 實驗性支持出現在 0.19.9