ELK错误1_Kafka->Logstash->Elasticsearch过程，Elasticsearch报grokparsefailure错误

痛定思痛。 2023-10-17 13:55 86阅读 0赞

实验背景：

Kafka->Logstash->Elasticsearch实验环境安装完成；

Logstash的启动文件设置有过滤机制；

Logstash启动文件：

**\[html\]** [view plain][] [copy][view plain]

1.  input \{ 
2.  kafka \{ 
3.  zk\_connect =**>** "10.10.16.252:2181,10.10.16.253:2181,10.10.16.249:2181" 
4.  group\_id =**>** "test-consumer-group" 
5.  topic\_id =**>** "MyPattern" 
6.  reset\_beginning =**>** false \# boolean (optional)， default: false 
7.  consumer\_threads =**>** 5 \# number (optional)， default: 1 
8.  decorate\_events =**>** true \# boolean (optional)， default: false 
9.   \} 
10. \} 
11. filter\{ 
12. 
13.  grok\{ 
14. 
15. patterns\_dir =**>** "./patterns" 
16. match =**>** \{ "message" =**>** \["\#字段内容\#"\]\} 
17.  \} 
18. 
19. \} 
20. 
21. 
22. output \{ 
23. 
24.  if "jsonparsefailure" not in \[tags\]\{ 
25. 
26.  elasticsearch\{ 
27. 
28. host =**>** "localhost" 
29.  \} 
30.  \} 
31. \}

发送数据的代码如下所示：

**\[java\]** [view plain][] [copy][view plain]

1.  **package** com.test.kafka; 
2.  
3.  **import** java.util.Properties; 
4.  **import** kafka.javaapi.producer.Producer; 
5.  **import** kafka.producer.KeyedMessage; 
6.  **import** kafka.producer.ProducerConfig; 
7.  
8.  **public****class** KafkaProduce \{ 
9.  
10. **public****static****void** main(String\[\] args) \{ 
11. 
12.  Properties props = **new** Properties(); 
13.  props.setProperty("metadata.broker.list","10.10.16.253:9092,10.10.16.252:9092,10.10.16.249:9092"); 
14.  props.setProperty("serializer.class","kafka.serializer.StringEncoder"); 
15.  props.put("request.required.acks","-1"); 
16.  ProducerConfig config = **new** ProducerConfig(props); 
17. 
18.  Producer<String,String> producer = **new** Producer<String, String>(config); 
19.  KeyedMessage<String, String> data = **new** KeyedMessage<String,String>("MyPattern","数据内容"); 
20. 
21.  producer.send(data); 
22. 
23.  producer.close(); 
24.  \} 
25. \}

发送给Logstash后，使用ES搜索，开始时，报一下错误：

![Center][]

发送第一个红框内的数据，结果报第二个红框内的错误。

寻找错误，经过对比，发现，代码中“数据内容”的字段比配置文件中“数据内容”中的字段少一个，所以报错。

改正，重新进行实验，结果正确。

进行验证：

字段对应，则正确；代码中少一个字段，则报上面的错。

来源:http://blog.csdn.net/wang\_zhenwei/article/details/49755599

[view plain]: http://blog.csdn.net/wang_zhenwei/article/details/49755599#
[Center]: https://img-blog.csdn.net/20151110103435972?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center