logstash之filter-grok正则的使用进行定制化字段

傷城~ 2023-06-16 02:29 18阅读 0赞

Logstash之所以强悍的主要原因是filter插件；通过过滤器的各种组合可以得到我们想要的结构化数据。

### grok正则表达式 ###

grok正则表达式是logstash非常重要的一个环节；可以通过grok非常方便的将数据拆分和索引  
语法格式：

(?<name>pattern)    
    ？<name>表示要取出里面的值，pattern就是正则表达式

例子：收集控制台输入，然后将时间采集出来

input {stdin{}}
    filter {
        grok {
            match => {
                "message" => "(?<date>\d+\.\d+)\s+"
            }
        }
    }
    output {stdout{codec => rubydebug}}

下图可以看到采集出来了数字4.19赋值给date  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70]

### 定制化字段，取出想要的字段 ###

还是按照上面的例子：  
4.19 is luck day 然后取出每一个字段

input {stdin{}}
    filter {
        grok {
            match => {
                "message" => "(?<date>\d+\.\d+)\s+(?<is>\w+)\s+(?<luck>\w+)\s+(?<day>\w+)"
            }
        }
    }
    output {stdout{codec => rubydebug}}

结果截图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 1]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191124073932194.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191124074043927.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDA2MjMzOQ==,size_16,color_FFFFFF,t_70