ELK是当前比较主流的分布式日志收集处理工具。
常用日志采集方式： Filebeat→Kafka集群→Logstash→ES→Kibana
Grafana（可视化监控工具）上配置连接ES数据库 进行实时监控
实施步骤：
Filebeat部署在应用服务器上（只负责Logstash的读取和转发，降低CPU负载消耗，确保不会抢占应用资源），Logstash、ES、Kibana在一台服务器上（此处的Logstash负责日志的过滤，会消耗一定的CPU负载，可以考虑如何优化过滤的语法步骤来达到降低负载）。
filebeat 直接输出到 es，kibana做搜索展示
filebeat n台 输出到 kafka集群
logstash 1~3台 接收kafka日志 输出到 es集群，logstash挂1台不影响kafka日志接收。
kibana做搜索展示
通过增加消息队列中间件，来避免数据的丢失。当Logstash出现故障，日志还是存在中间件中，当Logstash再次启动，则会读取中间件中积压的日志
轻量级的日志采集组件 Filebeat 讲解与实战操作
注意 filebeat版本一定要和es 版本一致
logback.xml里日志格式为json
vi filebeat.yml
到 es 示例2：
filebeat.yml配置文件增加
docker run 增加配置
-v /data0filebeat/fields.yml:/usr/share/filebeat/fields.yml
-v /data0/filebeat/logs_template.json:/usr/share/filebeat/logs_template.json
新建fields.yml
新建logs_template.json
在Kibana Management Advanced Settings 搜索Date format 格式化设置成：
YYYY-MM-DD HH:mm:ss.SSS
或者
在 Kibana 中的 Devtools 界面中编写如下 pipeline 并执行
查询 GET _ingest/pipeline/timestamp-pipeline-id
filebeat 设置索引分片及复本个数
在kibana DevTools执行
设置1个分片 0个复本
使用filebeat采集文件到es
docker部署filebeat到es
filebeat采集日志到ES
filebeat7.7.0相关详细配置预览
filebeat7.7.0相关详细配置预览- processors
filebeat采集docker日志
docker部署filebeat到kafka
filebeat采集多个日志（推送给ES或者logstash）
Filebeat+Elasticsearch收集整洁的业务日志
docker 部署logstash
vi logstash.conf
vi logstash.yml
注意，kibana要和es的版本一致，否则版本不兼容
将如下内容写到kibana.yml中，然后保存退出：:wq
重新启动
vi auto_add_index.sh
kibana DevTools执行
30天后删除
kibana 自动创建索引模式
Kibana自动关联ES索引
ELK系列(2) - Kibana怎么修改日期格式Date format
iLogtail用户手册
ilogtail -> kafka -> logstash -> elasticsearch
使用Docker搭建ELK日志系统
Kibana 可视化日志分析
docker 搭个日志收集系统
Springboot+logback集成ELK处理日志实例
Kibana + Elasticsearch + Logstash + Filebeat
Spring Cloud 分布式实时日志分析采集三种方案
10分钟部署一个ELK日志采集系统
如何快速采集分析平台日志，并进行展示监控？
手把手教你搭建ELK
filebeat上报数据异常排查
filebeat占用文件句柄磁盘满
filebeat常见问题