部署ELK日志分析系统（配写图）ovo
ELK日志分析系统
文章目录
- ELK日志分析系统
- 简介
- ELK日志分析系统
- 日志处理步骤
- 一、Elasticsearch
- 介绍
- 核心概念
- 二、Logstash
- 介绍
- 主要组件
- 三、Kibana
- 介绍
- 主要功能
- 部署ELK日志分析系统
- 配置步骤
- 1、 配置 Elasticsearch 环境
- 安装java环境（jdk）
- 2、可用虚拟win10访问，查看节点信息
- 3、集群检查健康和状态
- 4、安装elasticsearch-head插件
- （1）编译安装node组件依赖包,耗时比较长
- （2）安装phantomjs（前段框架）
- （3）安装elasticsearch-head（数据可视化工具）
- （4）修改主配置文件
- （5）启动 elasticsearch-head
- （6）真机浏览器验证
- 5、安装logstash
- Apache（192.168.171.17）
- （1）更改主机名并安装 Apache httpd 服务
- （2）安装java环境（和node1node2一样）
- （3）安装logstash
- （4）做对接测试 logstash（Apache）与 elasticsearch（node）功能是否正常
- （5）输入采用标准输入，输出采用标准输出
- （6）使用 rubydebug 显示详细输出，codec 为一种编解码器
- （7）使用logstash将信息写入elasticsearch中，输入 输出 对接
- （8）真机访问测试
- 6、登录192.168.171.17 Apache主机 做对接配置
- （1）logstasgh 配置文件
- （2）配置文件中定义的是收集系统日志（system）
- （3）真机浏览 http://192.168.171.7:9100/ 查看索引信息
- （4）在node1安装Kibana
- （5）真机浏览器测试
- 7、对接 Apache 主机的 Apache 日志文件
简介
ELK日志分析系统
- Elasticsearch
- Logstash
- Kibana
日志处理步骤
- 将日志进行集中化管理
- 将日志格式化（Logstash）并输出到Elasticsearch
- 对格式化后的数据进行索引和存储（Elastticsearch）
- 前端数据的展示（Kibana）
一、Elasticsearch
介绍
- 提供了一个分布式多用户能力的全文搜索引擎
- 分布式即数据不会放在一个地方
- 正是 ES 这些优秀的机制，所以会被百度等龙头企业所选择
核心概念
接近实时：
指索引和数据处理的能力
集群：
一个内部组件 ES 的架构（特性）
节点：
有集群必定有节点
索引：
索引（库）→ 索引类型（表）→ 索引的具体文档（记录）
索引根据以上这个方式来进行数据（位置）定位
分片：
例如，一个40G的文件，分为两份20G的文件，存放至两个节点上，读取这个40G的文件时，会效率更快
副本：核心是为了容灾，不过也可以处理任务
分片加上副本的使用：例如，四台主机同时处理一项任务，理论上效率可以提高四倍
二、Logstash
介绍
- 一款强大的数据处理工具
- 可实现数据传输、格式处理、格式化输出
- 数据输入、数据加工（如过滤，改写等）以及数据输出
主要组件
- Shipper
- Indexer
- Broker
- Search and Storage
- Web Interface
三、Kibana
介绍
- 一个针对Elasticsearch的开源分析及可视化平台
- 搜索、查看存储在Elasticsearch索引中的数据
- 通过各种图标进行高级数据分析及展示
主要功能
- Elasticsearch无缝之集成
- 整合数据，复杂数据分析
- 让更多团队成员受益
- 接口灵活，分享更容易
- 配置简单，可视化多数据源
- 简单数据导出
拓展:
EFK 的构成：
- Elasticsearch
- Logstash（仅做数据格式处理的工作）
- Filebeat （搜集文件数据）
- Kafka
- Kibana
- Redis
部署ELK日志分析系统
需求描述：
- 配置ELK日志分析集群
- 使用Logstash收集日志
- 使用Kibana查看分析日志
环境
| 主机 | 操作系统 | IP | 所需软件 |
|---|---|---|---|
| 当做Node1 | Centos7 | 192.168.171.7 | Elasticsearch、Kibana |
| 当做Node2 | Centos7 | 192.168.171.4 | Elasticsearch |
| Apache | Centos7 | 192.168.171.17 | Logstash |
注：所有主机都需要关闭防火墙
配置步骤
1、 配置 Elasticsearch 环境
登录192.168.171.7 更改主机名 配置域名解析 查看Java环境
systemctl stop firewalld
systemctl disable firewalld
setenforce 0hostnamectl set-hostname node1
su -vim /etc/hosts
192.168.171.7 node1
192.168.171.4 node2
#尾部添加java -version
#查看JAVA环境，一般默认是1.8.0_131
安装java环境（jdk）
cd /opt
#将软件包传至该目录下
rpm -ivh jdk-8u201-linux-x64.rpmvim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
#注释：
1.输出定义java的工作目录
2.输出指定java所需的类文件
3.输出重新定义环境变量，$PATH一定要放在$JAVA_HOME的后面，让系统先读取到工作目录中的版本信息source /etc/profile.d/java.sh
java -version
node2也进行上方所有的配置
node1
cd /opt
rz elasticsearch-5.5.0.rpmrpm -ivh elasticsearch-5.5.0.rpmsystemctl daemon-reload
systemctl enable elasticsearch.service
更改配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
#备份vim /etc/elasticsearch/elasticsearch.yml
//17行 cluster.name: my-elk-cluster #集群名字
//23行 node.name: node1 #节点名字
//33行 path.data: /data/elk_data #数据存放路径
//37行 path.logs: /var/log/elasticsearch/ #日志存放路径
//43行 bootstrap.memory_lock: false #不在启动的时候锁定内存（前端缓存，与IOPS-性能测试方式，每秒读写次数相关）
//55行 network.host: 0.0.0.0 #提供服务绑定的IP地址，0.0.0.0代表所有地址
//59行 http.port: 9200 #侦听端口为9200
//68行 discovery.zen.ping.unicast.hosts: ["node1", "node2"] #集群发现通过单播实现都要取消注释
grep -v "^#" /etc/elasticsearch/elasticsearch.ymlmkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/
#创建数据存放路径并授权systemctl start elasticsearch
netstat -antp | grep 9200
#启动elasticsearch是否成功开启
2、可用虚拟win10访问，查看节点信息
http://192.168.171.7:9200
http://192.168.171.4:9200
node2也是一样配置
除了第23行的节点名字
3、集群检查健康和状态
http://192.168.171.7:9200/_cluster/health?pretty
http://192.168.171.4:9200/_cluster/health?prettyhttp://192.168.171.7:9200/_cluster/state?pretty
http://192.168.171.4:9200/_cluster/state?pretty
4、安装elasticsearch-head插件
node1
（1）编译安装node组件依赖包,耗时比较长
上传node-v8.2.1.tar.gz到/optyum -y install gcc gcc-c++ make cd /opt
rz node-v8.2.1.tar.gz
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/./configure
make -j 2
make install
（2）安装phantomjs（前段框架）
cd /usr/local/src/
#将软件包传至本目录下
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
（3）安装elasticsearch-head（数据可视化工具）
cd /usr/local/src/
#将软件包传至本目录下
tar zxvf elasticsearch-head.tar.gzcd elasticsearch-head/
npm install
（4）修改主配置文件
cd ~
vim /etc/elasticsearch/elasticsearch.yml
#在尾部添加配置
http.cors.enabled: true
http.cors.allow-origin: "*"#开启跨域访问支持，默认为false
#跨域访问允许的域名地址systemctl restart elasticsearch
（5）启动 elasticsearch-head
cd /usr/local/src/elasticsearch-head/
npm run start &
#切换到后台运行netstat -lnupt |grep 9100
netstat -lnupt |grep 9200
node2也是这样配置
（6）真机浏览器验证
http://192.168.171.7:9100
http://192.168.171.4:9100
#可以看见群集很健康是绿色
#然后点连接 会发现：集群健康值: green (0 of 0)http://192.168.171.7:9200
http://192.168.171.4:9200
node1（192.168.171.7）
索引为index-demo,类型为test,可以看到成功创建
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"xcf","mesg":"hello world"}'
在虚拟win10打开浏览器，访问，查看索引信息
http://192.168.171.7:9100#可以看见索引默认被分片5个，并且有一个副本
#点击数据浏览，会发现在node1上创建的索引为index-demo，类型为test这些相关的信息
5、安装logstash
安装logstash并做一些日志搜集输出到elasticsearch中
Apache（192.168.171.17）
（1）更改主机名并安装 Apache httpd 服务
hostnamectl set-hostname apache
su -yum install -y httpd
systemctl start httpd
（2）安装java环境（和node1node2一样）
java -version
（3）安装logstash
cd /opt
rz logstash-5.5.1.rpm rpm -ivh logstash-5.5.1.rpm systemctl start logstash.service
systemctl enable logstash.serviceln -s /usr/share/logstash/bin/logstash /usr/local/bin/
#建立软连接，方便系统识别
（4）做对接测试 logstash（Apache）与 elasticsearch（node）功能是否正常
Logstash [选项] [对象]
-f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e：后面跟着字符串 该字符串可以被当做logstash的配置（如果是" ",则默认使用stdin作为输入、stdout作为输出）
-t：测试配置文件是否正确，然后退出（5）输入采用标准输入，输出采用标准输出
logstash -e 'input { stdin{} } output { stdout{} }'Logstash API endpoint {:port=>9600}
www.baidu.com ##需要输入www.baidu.com
2018-10-12T02:10:11.313Z apache www.baidu.com
www.sina.com.cn ##需要输入www.sina.com.cn
2018-10-12T02:10:29.778Z apache www.sina.com.cnCtrl + c退出
（6）使用 rubydebug 显示详细输出，codec 为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'Logstash API endpoint {:port=>9600}
www.baidu.com
{"@timestamp" => 2018-10-12T02:15:39.136Z,"@version" => "1","host" => "apache","message" => "www.baidu.com"
}
（7）使用logstash将信息写入elasticsearch中，输入 输出 对接
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.171.7:9200"] } }'Logstash API endpoint {:port=>9600}
www.baidu.com ###输入内容
www.sina.com.cn ###输入内容
www.google.com.cn ###输入内容（8）真机访问测试
http://192.168.171.7:9100/ #查看索引信息
6、登录192.168.171.17 Apache主机 做对接配置
（1）logstasgh 配置文件
#Logstash配置文件主要由三部分组成：input、output、filter（根据需要）chmod o+r /var/log/messages
ll /var/log/messages
（2）配置文件中定义的是收集系统日志（system）
vim /etc/logstash/conf.d/system.conf
input {file{path => "/var/log/messages"type => "system"start_position => "beginning"}}output {elasticsearch {hosts => ["192.168.171.7:9200"]index => "system-%{+YYYY.MM.dd}"}}systemctl restart logstash.service
（3）真机浏览 http://192.168.171.7:9100/ 查看索引信息
（4）在node1安装Kibana
cd /usr/local/src/
#将软件包传至本目录下
rpm -ivh kibana-5.5.1-x86_64.rpmcd /etc/kibana/
cp kibana.yml kibana.yml.bakvim kibana.yml
//2行 server.port: 5601 #kibana打开的端口
//7行 server.host: "0.0.0.0" #kibana侦听的地址
//21行 elasticsearch.url: "http://192.168.171.7:9200" #和elasticsearch建立联系
//30行 kibana.index: ".kibana" #在elasticsearch中添加.kibana索引systemctl start kibana.service
systemctl enable kibana.service（5）真机浏览器测试
使用浏览器输入192.168.171.7:5601首次登录创建一个索引 名字：system-* ##这是对接系统日志文件
Index name or pattern
##下面输入system-*先点最下面的出面的create 按钮创建然后点最左上角的Discover按钮 会发现system-*信息最后点下面的host旁边的add 会发现右面的图只有 Time 和host 选项了 这个比较友好
7、对接 Apache 主机的 Apache 日志文件
cd /etc/logstash/conf.d/vim apache_log.conf
input {file{path => "/etc/httpd/logs/access_log"type => "access"start_position => "beginning"}file{path => "/etc/httpd/logs/error_log"type => "error"start_position => "beginning"}}
output {if [type] == "access" {elasticsearch {hosts => ["192.168.171.7:9200"]index => "apache_access-%{+YYYY.MM.dd}"}}if [type] == "error" {elasticsearch {hosts => ["192.168.171.7:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}}/usr/share/logstash/bin/logstash -f apache_log.conf
#开启
真机
打开浏览器 输入http://192.168.171.17
打开浏览器 输入http://192.168.171.7:9100/ 查看索引信息
能发现
apache_error-2021.03.05 apache_access-2021.03.05
打开浏览器 输入http://192.168.171.7:5601
点击左下角有个management选项
—index patterns
—create index pattern----分别创建apache_error-* 和 apache_access-* 的索引
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！