建站
咨詢
售后
建站咨詢
新聞中心
一、ELK 日志分析系統(tǒng)簡介：
日志服務(wù)器：
網(wǎng)站的建設(shè)成都創(chuàng)新互聯(lián)公司專注網(wǎng)站定制,經(jīng)驗(yàn)豐富,不做模板,主營網(wǎng)站定制開發(fā).小程序定制開發(fā),H5頁面制作!給你煥然一新的設(shè)計(jì)體驗(yàn)!已為成都水泥攪拌車等企業(yè)提供專業(yè)服務(wù)。
1、提高安全性；
2、集中存放日志；
3、缺陷：對日志的分析困難
二、ELK日志處理步驟：
1、將日志進(jìn)行集中格式化；
2、將日志格式化（logstash）并輸出到 Elasticsearch；
3、對格式化后的數(shù)據(jù)進(jìn)行索引和存儲（Elasticsearch）；
4、前端數(shù)據(jù)的展示（Kibana）
ELK：Elasticsearch + Logstash + Kibana
ELK是Elasticsearch、Logstash、Kibana的簡稱，這三者是核心套件，但并非全部。
（1）Elasticsearch 是實(shí)時(shí)全文搜索和分析引擎，提供搜集、分析、存儲數(shù)據(jù)三大功能；是一套開放REST和JAVA API等結(jié)構(gòu)提供高效搜索功能，可擴(kuò)展的分布式系統(tǒng)。它構(gòu)建于Apache Lucene搜索引擎庫之上。
（2）Logstash 是一個(gè)用來搜集、分析、過濾日志的工具。它支持幾乎任何類型的日志，包括系統(tǒng)日志、錯(cuò)誤日志和自定義應(yīng)用程序日志。它可以從許多來源接收日志，這些來源包括 syslog、消息傳遞（例如 RabbitMQ）和JMX，它能夠以多種方式輸出數(shù)據(jù)，包括電子郵件、websockets和Elasticsearch。
（3）Kibana 是一個(gè)基于Web的圖形界面，用于搜索、分析和可視化存儲在 Elasticsearch指標(biāo)中的日志數(shù)據(jù)。它利用Elasticsearch的REST接口來檢索數(shù)據(jù)，不僅允許用戶創(chuàng)建他們自己的數(shù)據(jù)的定制儀表板視圖，還允許他們以特殊的方式查詢和過濾數(shù)據(jù)。
功能：
1、Elasticsearch無縫之集成；
2、整合數(shù)據(jù)，復(fù)雜數(shù)據(jù)分析；
3、接口靈活，分享更容易；
4、配置簡單，可視化多數(shù)據(jù)源；
5、簡單數(shù)據(jù)導(dǎo)出；
6、讓更多團(tuán)隊(duì)成員收益。
二、搭建 ELK 日志分析系統(tǒng)：
第一步：先配置 elasticsearch 環(huán)境
（1）修改兩臺主機(jī)名，分別是：node1 和 node2
（2）修改 hosts 文件：
（3）防火墻都關(guān)閉
第二步：部署安裝 elasticsearch 軟件（兩臺節(jié)點(diǎn)都需要）
（1）安裝：
（2）修改配合文件：
注意：第二臺節(jié)點(diǎn)服務(wù)器配置和第一臺一樣，注意修改一下節(jié)點(diǎn)名和ip地址即可。
（3）創(chuàng)建數(shù)據(jù)存放路徑并授權(quán)：
（4）開啟服務(wù)：
1、瀏覽器輸入以下網(wǎng)址，檢查群集健康狀態(tài)：
2、檢查群集狀態(tài)信息：
第三步：安裝 elasticsearch-head 插件
（1）安裝依賴包：
（2）編譯安裝 node 組件：
（3）安裝 phantomjs 前端框架：
（4）安裝 elasticsearch-head 數(shù)據(jù)可視化工具：
（5）修改主配置文件：
（6）啟動 elasticsearch-head
此時(shí)，可以檢查一下 9100和9200 這個(gè)兩個(gè)端口的狀態(tài)：
第四步：創(chuàng)建索引
可以直接新建索引：
也可以輸入以下命令創(chuàng)建索引：
curl -XPUT '192.168.220.136:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
//索引名為 index-demo，類型為test
瀏覽器刷新一下，就會看到剛剛創(chuàng)建的索引信息，可以看出索引默認(rèn)被分片5個(gè)，并且有一個(gè)副本。
第五步：安裝 logstash 并做一些日志搜集輸出到 elasticsearch中
（1）修改主機(jī)名
（2）安裝Apache服務(wù)：
（3）安裝 logstash
（4）logstash（Apache）與 elasticsearch（node）功能是否正常，做對接測試：
可以用 logstash 這個(gè)命令測試：
（5）輸入采用標(biāo)準(zhǔn)輸入、輸出采用標(biāo)準(zhǔn)輸出：
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.220.136:9200"] } }'此時(shí)，瀏覽器訪問 http://192.168.220.136:9200/ 查看索引信息，就會多出 logstash-2019.12.17
（6）登錄Apache主機(jī)，做對接配置：
logstash 配置文件主要由三部分組成：input、output、filter（這個(gè)視情況做不做
重啟服務(wù)：
（7）瀏覽器查看索引信息：會多出 system-2019.12.17
第六步：node1主機(jī)安裝 kibana
（1）
瀏覽器訪問：192.168.220.136:5601
接下來在可視化界面中創(chuàng)建一個(gè)索引名：system-* （對接系統(tǒng)日志文件）
（2）對接 Apache 主機(jī)的 Apache 日志文件 （包括正常訪問的、錯(cuò)誤的）
重啟服務(wù)：
再在可視化界面上， 創(chuàng)建兩個(gè)索引：
1、apache_access-
2、apache_error-
稍等片刻，就可以在Discover 看見這兩個(gè)日志文件了：
由于，我們之前給node節(jié)點(diǎn)都做了同步備份，同時(shí)也提高了容災(zāi)的能力，一臺宕機(jī)不會造成數(shù)據(jù)的丟失。
謝謝觀看！
網(wǎng)站標(biāo)題：搭建ELK日志分析系統(tǒng)
地址分享：http://fisionsoft.com.cn/article/jhpjde.html
