从JSON中提取时间戳并将其用作logstash事件时间戳

2023年3月26日 386次阅读

我希望有人可以帮助我.我有以下设置：

shipper >> redis >> logstash >> elasticsearch

Logstash有一个输入,它从redis中提取日志数据.以下JSON行使用redis：

{
  "@fields": {
    "level": "INFO",
    "mdc": {},
    "file": "ContextLoader.java",
    "class": "org.springframework.web.context.ContextLoader",
    "line_number": "273",
    "method": "initWebApplicationContext"
  },
  "@timestamp": "2013-12-18T11::29:29.115+01:00",
  "@message": "Root WebApplicationContext: initialization started",
  "@source_host": "test-host"
}

我使用的logstash配置很简单：

input {
  redis {
    data_type => "list"
    key => "logstash:test:host"
    codec => "json"
  }
}
filter{
  date {
    match => [ "@timestamp", "dd-MMM-YYYY:HH:mm:ssZ", "dd-MMM-YYYY:HH:mm:ss Z", "ISO8601" ]
  }
}
output {
  stdout{
    debug => true
  }
}

当我使用上面的配置时,我看到使用了logstash事件的时间戳(2013-12-18T12：53：14.169Z),我的调试屏幕出现以下错误：

Failed parsing date from field {:field=>"@timestamp", :value=>"2013-12-18T12:53:14.177Z", :exception=>#<TypeError: cannot convert instance of class org.jruby.RubyTime to class java.lang.String>, :level=>:warn}

由此,我可以得出以下结论：

当日志条目作为输入进入时,json日志条目的时间戳将被logstash的timestamp事件覆盖.然后,当日期过滤器尝试解析时间戳时,它会失败,因为没有匹配项.

我想使用json日志条目的时间戳作为我的logstash事件时间戳.我怎样才能做到这一点？我使用logstash 1.3.1版.

最佳答案 我想你可能误解了
date filter(似乎没有1.3.1的文档)是如何工作的,它需要一个字段,并根据你设置的模式解析它并使用该匹配来设置@timestamp的值字段(默认情况下).由于您正在使用@timestamp字段,将其与模式匹配,然后尝试使用它设置@timestamp字段,因此您所做的事情是多余的.

如果您有一个不同的时间戳字段,您希望从我希望它可能起作用的日期,只要您使用该字段的正确模式.

我还建议您更新到1.4.2,因为您运行的旧版本可能有问题.

点赞