Elasticsearch

有關擴展 ElasticSearch 的統計資訊

  • December 4, 2014

我有一個設置有幾個 Logstash 節點向 ElasticSearch 發送輸入,並且有一個 kibana 伺服器可以讓我視覺化它。

目前的基礎架構非常簡單,並且位於單節點機器上。我們正在尋求將其擴展到更大的測試平台。但是,在投資擴展 ELK 的大型部署之前,我希望更好地了解它的擴展能力和性能參數。

我無法在 Elastic Search 網站或他們的案例研究中找到數字

這些問題是:

  1. Elastic Search 的擴展性如何?它可以消耗多少日誌/秒,需要多少個節點?任何數字或洞察力都可以。
  2. 它以時間作為索引的表現如何,我們將案例視覺化為更多的結構化查詢。特別是它與類似 SQL 的數據庫相比如何。提出的問題之一是,如果我們事先知道日誌結構,使用 SQL 數據庫會更好。如果性能是一個很大的瓶頸,我們不一定需要搜尋引擎功能。?

我是 ELK/SQL 伺服器管理的新手,所以如果問題似乎沒有很好地形成,請原諒。

elastic 網站上的案例研究確實有一些數字,例如來自數據狗案例研究:

在此處輸入圖像描述

在 Stack Exchange,我們發現彈性規模非常好(用於 logstash、haproxylogs(每天約 1.5 億條日誌條目)和 syslog/eventlog 以及搜尋此站點),但您需要做的第一件事是量化你的負載。有了彈性,它會是這樣的:

  • 文件(日誌條目)率
  • 查詢率
  • 數據大小

ETC…

引用自:https://serverfault.com/questions/649019