Syslog

通過配置使用 syslog-ng 分離傳入日誌的 json 部分

  • March 1, 2020

我收到沒有任何解析的日誌:

source s_network {
    network( transport(tcp) port(601) flags(no-parse));
};

我保存的日誌有兩部分:

  1. 接收者資訊
  2. 日誌的 json 部分(如下所示):

Feb 18 00:01:58 82.172.112.1 <40> 2020-02-17T20:29:49Z logserver-2 : {"method":"GET","scheme":"https","domain":"test.com","uri":"/App_Themes/font.woff","referer":"https://test.com/","ip":"31.135.115.92","ua":"Mozilla/5.0 (iPhone; CPU iPhone OS 13_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.5 Mobile/15E148 Safari/604.1","content_type":"text/html","status":404,"server_port":443,"bytes_sent":1222,"bytes_received":1245,"upstream_time":0.016}

我的問題是:

如何分離 json 部分(刪除文本的第一部分)?

如何根據 json 數據生成文件名?例如我想保存get method在單獨的文件中。

要將 JSON 與其他資訊分開,可以很簡單:

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.18/administration-guide/33

destination d_file {
   file("/var/log/${YEAR}.${MONTH}.${DAY}/json"
        template("${MESSAGE}\n")
        template-escape(no));
};

要訪問 JSON 中的值,請使用相應的解析器:

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.16/release-notes/the-json-parser-the-json-parser

parser parser_name {
   json-parser(
       marker()
       prefix()
   );
};

並組合元件以獲得您想要的結果:

source s_network {
    network( transport(tcp) port(601) );
};

destination d_date_method {
   file("/var/log/${YEAR}.${MONTH}.${DAY}/${method}.json"
        template("${MESSAGE}\n")
        template-escape(no));
};

parser p_json {
   json-parser();
};

log {
   source(s_network);
   parser(p_json);
   destination(d_date_method);
};

確保禁用no-parse源中的標誌:

https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.16/administration-guide/para-flags-no-parse

引用自:https://serverfault.com/questions/1003724