如何使用 S3 輸入將 AWS ELB 訪問日誌添加到 logstash？

我正在使用 ELK 堆棧進行伺服器監控。我的應用程序來自 AWS ELB 的訪問日誌儲存在 AWS S3 中。我正在嘗試使用以下輸入將它們添加到logstash：

input {
 s3 {
   access_key_id => "my_id"
   secret_access_key => "my_key"
   bucket => "my_bucket"
   region => "region"
   prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/**/**/**/*.log"
   type => "elb"
 }
}

但是logstash沒有添加任何內容，我做錯了什麼？我還有另一種方法可以將它們添加到logstash？過濾器和輸出部分似乎還可以，所以我不發布它們。

注意：我使用的是 logstash 2.1 版本

似乎前綴應該是，因為外掛不支持 glob (*) ：

prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/"

完整範例：

input {
 s3 {
   access_key_id => "my_id"
   secret_access_key => "my_key"
   bucket => "my_bucket"
   region => "region"
   prefix => "AWSLogs/828557649675/elasticloadbalancing/eu-west-1/"
 }
}

你可以添加sincedb_path => "/tmp/alb-sincedb"和留下前綴prefix => "AWSLogs/"嗎？

如果您安裝最新版本的輸入 s3 gem，那也很棒。我相信我看到了與使用 V2 資源 API 使用前綴在儲存桶內迭代對象相關的更改。我目前的版本是logstash-input-s3-3.1.2.gem.

引用自：https://serverfault.com/questions/750223