ELK搭建过程重点问题集锦和资源下载最佳来源

拼搏现实的明天。 2023-03-01 10:25 52阅读 0赞

Elasticsearch权威指南
    	https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
    *版本	elastic-7.8.0  要求jdk版本在11以上
    		JDK-11.0.5
    		node-v10.xx
    		*D:\java\jdk8 改为了 C:\Program Files\Java\jdk-11.0.5
    软件下载地址
    	http://elasticsearch.cn/download/
    	http://nodejs.cn/download/
    整体过程参看
    	https://www.cnblogs.com/taoweizhong/p/10462194.html
    空间地理分析kibana 官方地址 https://www.elastic.co/guide/en/kibana/current/maps.html
    1.elastic版本与kibana版本号一致 logstash版本一致 避免版本冲突
    
    2.kibana安装前提需要安装jdk、node、elasticsearch
    
    3.地图配置
    	kibana 6.x 
    		tilemap.url:
    			Kibana 用来在 tile 地图可视化组件中展示地图服务的 URL。默认时，Kibana 从外部的元数据服务读取 url，用户也可以覆盖该参数，使用自己的 tile 地图服务。例如："https://tiles.elastic.co/v2/default/{z}/{x}/{y}.png?elastic_tile_service_tos=agree&my_app_name=kibana"
    		tilemap.options.minZoom:
    			默认值: 1 最小缩放级别。
    		tilemap.options.maxZoom:
    			默认值: 10 最大缩放级别。
    		tilemap.options.attribution:
    			默认值: "© [Elastic Tile Service](https://www.elastic.co/elastic-tile-service)" 地图属性字符串。
    		tilemap.options.subdomains:
    			服务使用的二级域名列表，用 {s} 指定二级域名的 URL 地址。
    	kibana 7.x 
    		map.tilemap.url:
    			Kibana 用来在 tile 地图可视化组件中展示地图服务的 URL。默认时，Kibana 从外部的元数据服务读取 url，用户也可以覆盖该参数，使用自己的 tile 地图服务。例如："https://tiles.elastic.co/v2/default/{z}/{x}/{y}.png?elastic_tile_service_tos=agree&my_app_name=kibana"
    		map.tilemap.options.minZoom:
    			默认值: 1 最小缩放级别。
    		map.tilemap.options.maxZoom:
    			默认值: 10 最大缩放级别。
    		map.tilemap.options.attribution:
    			默认值: "© [Elastic Tile Service](https://www.elastic.co/elastic-tile-service)" 地图属性字符串。
    		map.tilemap.options.subdomains:
    			服务使用的二级域名列表，用 {s} 指定二级域名的 URL 地址
    		
    4.kibana的地图都是英文的，加载也慢。换成高德地图的api，使加载和观赏都更加直观  底图切换
    	修改kibana.yml
    		map.tilemap.url: "http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}"
    		map.tilemap.options.minZoom: 1
    		map.tilemap.options.maxZoom: 18
    		重启kibana然后进web界面进行设置
    	
    5.elasticsearch-head是一个用于管理Elasticsearch的web前端插件
    	Running with built in server
    	git clone git://github.com/mobz/elasticsearch-head.git		//这是一个前端项目，我们需要安装node环境 利用node安装grunt插件
    	cd elasticsearch-head
    	npm install													//然后对项目进行初始化依赖
    	npm run start 或者 grunt server
    	open http://localhost:9100/
    	*注意切勿在elasticsearch-head/Gruntfile.js 中配置hostname 会导致elasticsearch启动失败
    	*注意进入elasticsearch-5.6.8\config, 修改elasticsearch配置文件：elasticsearch.yml，增加以下两句命令：
    		http.cors.enabled: true
    		http.cors.allow-origin: “*”
    		再启动elasticsearch和Head插件, 再重新连接
    		否则elasticsearch-head连接elasticsearch时连接失败 F12提示跨域问题
    6.三者中数据存储和使用流程？
    
    7.Kibana定义索引模式
    	1.在Kibana中，打开“Management管理”，然后单击“Index Patterns索引模式”。
    	2.如果这是您的第一个索引模式，则会自动打开“Create index pattern创建索引模式”页面。 否则，单击左上角的“Create index pattern创建索引模式”。
    	3.在索引模式Index pattern 字段中输入xxxx*。
    	4.单击下一步Next step.。
    	5.在配置设置Configure settings中，单击创建索引模式Create index pattern。 对于此模式，您无需配置任何设置。
    	6.定义名为yyyy*的第二个索引模式您不需要为此模式配置任何设置。
    
    8.filebeat 吸收log文件中内容 到logstash时的logstash接收配置 logstash-geo.conf如下
    input {
      beats {
    	port => 5044
      }
    }
    filter {
      mutate {
    	  add_field => ["[geoip][location]", "%{rdc_lon}"]
    	  add_field => ["[geoip][location]", "%{rdc_lat}"]
      }
      mutate {
    	  convert => ["[geoip][location]", "float"]
      }
    }
      
    output {
      elasticsearch {
    	  index => "logstash-geo_demo"
    	  hosts => ["0.0.0.0:9200"]
      }
    }
    
    示例(数据中的经纬度信息进行分析挖掘)如下
    数据内容 
    [com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302411,863010030035393,39.2055473,117.1409302,10,66.1,1,12,2,9,1070,14.4,65,0,0,0,0.0,0.0,
    [com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302412,863010030039387,38.9934654,116.9013672,36,178.3,1,12,2,36,2628,14.1,93,0,0,0,0.0,0.0,
    [com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302413,863010030043751,39.2268219,117.0283508,36,152.6,1,12,2,37,769,14.2,69,0,0,0,0.0,0.0,
    [com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302412,863010030031244,,,0,-1.0,0,0,2,27,1113,14.4,87,0,0,0,0.0,0.0,
    [com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302413,863010030031269,38.9425621,116.9591980,48,71.7,1,12,2,48,1519,14.8,83,0,0,0,0.0,0.0,
    [com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302414,863010030039387,38.9932823,116.9013748,35,178.6,1,12,2,35,2626,14.1,91,0,0,0,0.0,0.0,
    
    对应logstash的conf文件内容  logstash.conf
    
    Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline.
    
    input {
      beats {
        port => 5044
      }
    }
    
    filter {
    	grok {
    			match => { "message" => "\[com\.test\.nlbs\.filter\.MsgDecodeFilter\] \- \SoutheastMessage\:(?<SoutheastMessa>(.*\n){0,}.*)" }
    			remove_field => ["message"]
    			add_field => {"head" =>"SoutheastMessage"}
    	}
    	csv {
    			source => "SoutheastMessa"
    			separator => ","
    			columns => [ "#","time", "imei", "latitude", "longitude" ]
    			remove_field => ["column6","column7","column8","column9","column10","column11","column12","column13","column14","column15","column16","column17","column18","column19","column20"]
    			add_field => ["[geoip][location]","%{longitude}"]
    			add_field => ["[geoip][location]","%{latitude}"]
    	}
    	mutate {
    			convert => ["[geoip][location]", "float"]
    	}
    }
    
    output {
      elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "logstash-geodemo"
      }
    }	
    
    9.Kibana加载样本数据
    	# 莎士比亚经典作品
    	wget https://download.elastic.co/demos/kibana/gettingstarted/shakespeare_6.0.json
    
    # 一组虚拟生成的账户数据
    wget https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip
    
    # 一组虚拟生成的日志数据
    wget https://download.elastic.co/demos/kibana/gettingstarted/logs.jsonl.gz
    
    10.制作各种图例时 一定要注意上面时间的选择范围 否则可能会没有任何数据返回 制作图例自然失败
    11.制作地图的数据 地理坐标经纬度格式
    		可能所有人都至少一次踩过这个坑：地理坐标点用字符串形式表示时是纬度在前，经度在后（ "latitude,longitude" ），而数组形式表示时是经度在前，纬度在后（ [longitude,latitude] ）—顺序刚好相反。
    	其实，在 Elasticesearch 内部，不管字符串形式还是数组形式，都是经度在前，纬度在后。不过早期为了适配 GeoJSON 的格式规范，调整了数组形式的表示方式。
    	因此，在使用地理位置的路上就出现了这么一个“捕熊器”，专坑那些不了解这个陷阱的使用者。
    	参看官网格式详解
    		https://www.elastic.co/guide/cn/elasticsearch/guide/current/lat-lon-formats.html

## ELK环境启动顺序 ##

启动顺序
    	elasticsearch
    	elasticsearch-head
    	kibana
    	logstash
    	filebeat 
    	
    或者 不使用logstash的环境
    	elasticsearch
    	elasticsearch-head
    	filebeat 
    	kibana

## ELK整套内容下载中心 ##

http://elasticsearch.cn/download/

## 标题使用Kibana或API导入数据到Elasticsearch(数据导入时索引一起带上) ##

https://support.huaweicloud.com/usermanual-css/css_01_0024.html

## 标题如何在ELK中解析各类日志文件 ##

https://cloud.tencent.com/developer/article/1116059

## 标题windows 10下ELK环境快速搭建实践 ##

https://www.cnblogs.com/taoweizhong/p/10462194.html

## 标题Logstash介绍 + filebeat ##

https://www.cnblogs.com/cjsblog/p/9459781.html

## 标题Kibana加载样本数据 ##

https://www.cnblogs.com/shiyu404/p/10571901.html