建站
咨詢
售后
建站咨詢
新聞中心
Filebeat是一款輕量級的開源日志數(shù)據(jù)收集器，可以將來自各種來源的日志轉(zhuǎn)發(fā)至Elasticsearch集群中進行統(tǒng)一管理和分析。它適用于各種不同的系統(tǒng)和服務器，包括Linux操作系統(tǒng)。本文將詳細介紹在Linux下安裝Filebeat的步驟。
成都創(chuàng)新互聯(lián)公司專注于瀘水網(wǎng)站建設服務及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供瀘水營銷型網(wǎng)站建設，瀘水網(wǎng)站制作、瀘水網(wǎng)頁設計、瀘水網(wǎng)站官網(wǎng)定制、成都微信小程序服務，打造瀘水網(wǎng)絡公司原創(chuàng)品牌,更為您提供瀘水網(wǎng)站排名全網(wǎng)營銷落地服務。
1.準備工作
在安裝Filebeat之前，需要先滿足以下條件:
– 確認已經(jīng)安裝了支持Filebeat的Linux版本，如CentOS、Debian或Ubuntu等；
– 確認已經(jīng)安裝了最新版本的Java虛擬機(JVM)，因為Filebeat需要JVM運行環(huán)境才能正常工作；
– 確認已經(jīng)連接到Internet或者已經(jīng)下載了Filebeat二進制文件。
2.下載Filebeat
可以在Elasticsearch的官網(wǎng)上下載最新的Filebeat版本，下載地址是：https://www.elastic.co/downloads/beats/filebeat。選擇對應的操作系統(tǒng)，點擊“Download”按鈕即可。
也可以使用wget命令直接下載，并存儲到指定的目錄下：
“`
$ wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.14.1-linux-x86_64.tar.gz
$ tar xzvf filebeat-7.14.1-linux-x86_64.tar.gz
“`
此時，F(xiàn)ilebeat的二進制文件將被解壓到當前目錄下的filebeat-7.14.1-linux-x86_64/文件夾中。
3.配置Filebeat
Filebeat有兩個主配置文件：filebeat.yml和filebeat.reference.yml，我們可以使用filebeat.yml作為參考配置，根據(jù)自己的需求進行修改。下面是一個基本的filebeat.yml配置文件示例：
“`
filebeat.inputs:
– type: log
enabled: true
paths:
– /var/log/messages
output.elasticsearch:
hosts: [“l(fā)ocalhost:9200”]
protocol: “http”
“`
上述配置文件定義了一個日志采集器，它將采集/var/log/messages文件中的數(shù)據(jù)，并將采集到的數(shù)據(jù)發(fā)送到本地運行的Elasticsearch服務端。
在配置Filebeat時，需要注意以下幾點：
– 一定要定義inputs字段，指定Filebeat需要采集的日志路徑和格式；
– 一定要定義output字段，指定Filebeat向哪里發(fā)送采集到的數(shù)據(jù)；
– 可以添加一些其他的配置，如如何處理原始日志數(shù)據(jù)、如何重試連接等。
4.啟動Filebeat
在修改好配置文件后，可以使用以下命令啟動Filebeat：
“`
$ cd filebeat-7.14.1-linux-x86_64/
$ sudo ./filebeat -e -c filebeat.yml
“`
在啟動Filebeat時，需要注意以下幾點：
– 一定要切換到Filebeat所在的文件夾中，以免引起日志路徑等配置出現(xiàn)異常；
– 可以使用-e選項來指定Filebeat運行在前臺，并輸出所有日志信息到終端；
– 可以使用-c選項來手動指定使用哪個配置文件。
啟動成功后，F(xiàn)ilebeat會開始采集指定路徑下的日志，并將采集到的數(shù)據(jù)發(fā)送到Elasticsearch服務器中進行存儲和分析。
5.
本文詳細介紹了在Linux操作系統(tǒng)中安裝Filebeat的步驟，包括下載Filebeat二進制文件、配置Filebeat以及啟動Filebeat。讀者可以根據(jù)自己的需求進行配置和使用，進一步優(yōu)化和擴展自己的日志管理系統(tǒng)。
相關(guān)問題拓展閱讀：
- filebeat+elasticsearch+logstash+kibana收集系統(tǒng)日志(docker)
- filebeat常見問題
filebeat+elasticsearch+logstash+kibana收集系統(tǒng)日志(docker)
我們這里用到的是
filebeat+elk(elasticsearch+logstash+kibana)
來進行系統(tǒng)日志的收集。filebeat安裝在各個服務器中，Logstash+ElasticSearch+Kibana安裝在一臺專門用于基礎服務的服務器上。
Filebeat是一個輕量級的托運人，用于轉(zhuǎn)發(fā)和集中日志數(shù)據(jù). Filebeat作為代理安裝在服務器上，監(jiān)視您指定的日志文件或位置，收集日志事件，并將它們轉(zhuǎn)發(fā)到
ElasticSearch
或
Logstash
進行索引.
官方中文文檔：
Logstash是一個開源的服務器端數(shù)據(jù)處理管道，可以同時從多個數(shù)據(jù)源獲取數(shù)據(jù)，并對其進行轉(zhuǎn)換，然后念櫻緩將其發(fā)送到你頌裂最喜歡的“存仔模儲”。
官方中文文檔：
Elasticsearch 是一個開源的搜索引擎，建立在一個全文搜索引擎庫 Apache Lucene? 基礎之上。Lucene 可以說是當下更先進、高性能、全功能的搜索引擎庫–無論是開源還是私有。
官方中文文檔：
《Elasticsearch:權(quán)威指南》：
Kibana 是一款開源的數(shù)據(jù)分析和可視化平臺，它是 Elastic Stack 成員之一，設計用于和 Elasticsearch 協(xié)作。您可以使用 Kibana 對 Elasticsearch 索引中的數(shù)據(jù)進行搜索、查看、交互操作。您可以很方便的利用圖表、表格及地圖對數(shù)據(jù)進行多元化的分析和呈現(xiàn)。
官方中文文檔：
nginx.conf中設置日志文件格式:
修改完成后，通過 sudo nginx -t 來檢查配置文件是否正確，然后 sudo nginx -s reload 來重啟
filebeat各系統(tǒng)安裝教程詳見官方文檔。
我這里安裝的deb包(rpm包也同樣)，配置文件在
/etc/filebeat/filebeat.yml
,
filebeat命令：
參數(shù)介紹：
在/usr/local/文件夾下依次創(chuàng)建logstash/conf.d/logstash.conf
grok正則在線驗證地址：
正則代表的含義：
配置成功后，執(zhí)行如下命令重啟docker中的logstash (有時會重啟失敗，多試幾次吧)
在瀏覽器中輸入 進入kibana
然后如下設置
然后創(chuàng)建 index pattern
然后選擇@timestamp
最后在Discover標簽頁就可以看到了
filebeat常見問題
Filebeat保持文件處理程序打開，直到文件到達文件末尾，以便它可以近乎實時地讀取新的日志行。 如果Filebeat正在收集大量文件，則打開文件的數(shù)量可能會成為問題。 在大多數(shù)環(huán)境中，正在更新的文件數(shù)量很少。
close_inactive配置選項應相應地設置為關(guān)閉不再處于活動狀態(tài)的文件。
您可以使用其他配置選項來關(guān)閉文件處理程序，但所有這些選項都應該小心使用，因為它們可能有副作用。 選項是：
close_renamed和close_removed選項在Windows上很有用，可以解決與文件旋轉(zhuǎn)相關(guān)的問題。
請參閱打開文件處理程序?qū)е耊indows文件旋轉(zhuǎn)問題？
close_eof選項在具有大量只有很少條目的文件的環(huán)境中很有用。
close_timeout選項在關(guān)閉文件處理程序比發(fā)送所有日志行更重要的環(huán)境中很有用。 有關(guān)更多詳細信息，請參閱設置探礦者。
確保在使用這些配置選項之前閱讀這些配置選項的文檔。
Filebeat可能被配置為頻繁掃描文件。 檢查filebeat.yml配置文件中scan_frequency的設置。 將scan_frequency設置為小于1s可能會導致Filebeat在頻繁的循環(huán)中掃描磁盤。
Filebeat保持每個文件的狀態(tài)并將該狀態(tài)保存在registry_file中的磁盤上。 Filebeat重新啟動時，文件狀態(tài)用于在前一個位置繼續(xù)讀取文件。 如果每天都生成大量新文件，則
注冊表
文件可能會變得太大。 要減小注冊表文件的大小，有兩個可用的配置選項：clean_removed和clean_inactive。
對于不再接觸并忽略的舊文件（請參閱ignore_older），我們建議您使用clean_inactive。 如果舊文件從磁盤中刪除，請使用clean_removed選項。
Inode重用會導致Filebeat跳過行嗎？
在Linux
文件系統(tǒng)
上，F(xiàn)ilebeat使用inode和設備來識別文件。
從磁盤中刪除文件時，可將inode分配給新文件。
在涉及文件旋轉(zhuǎn)的使用情況下，如果舊文件被刪除并且之后立即創(chuàng)建新文件，
新文件可能與刪除的文件具有完全相同的inode。在這種情況下，F(xiàn)ilebeat假定新文件與舊文件相同，并嘗試在舊位置繼續(xù)讀取，這是不正確的。
默認狀態(tài)不會從注冊表文件中刪除。要解決inode重用問題，我們建議您使用clean_ *選項（特別是clean_inactive）來刪除非活動文件的狀態(tài)。
例如，如果您的文件每24小時輪換一次，培段并且輪換的文件不再更新，則可以將ignore_older設置為48小時，將clean_inactive設置為72小時。
您可以將clean_removed用于從磁盤中刪除的文件。請注意，clean_removed會在掃描期間無法找到文件時清除注冊表中的文件狀態(tài)。如果文件稍后再次顯示，它將從頭開始重新發(fā)送。
Filebeat使用
換行符
來檢測事件的結(jié)束。 如果將行逐漸添加到正在采集的文件中，則在最后一行之后需要換行符，否則Filebeat將不會讀取文件的最后一行。
在默認行為中，F(xiàn)ilebeat會打開文件并保持打開狀態(tài)，直到達到文件末尾。
在配置的輸出很長時間（例如Elasticsearch或Logstash不可用）的情況下，這可能會導致Filebeat將文件處理程序保留到同時從文件系統(tǒng)中刪除的文件。 只要Filebeat保持已刪除的文件處于打開狀態(tài)，操作系統(tǒng)就不會釋放磁盤空間，這可能會導致磁盤利用率增加，甚至出現(xiàn)磁盤不足的情況。
為迅激了緩解這個問題，您可以將close_timeoutedit設置設置為”5m”。 這畝中襪將確保每5分鐘關(guān)閉一次文件處理程序，而不管是否達到EOF。
請注意: 如果在Filebeat到達文件末尾之前刪除文件，則此選項可能會導致數(shù)據(jù)丟失。
如果您需要限制帶寬使用率，我們建議您在操作系統(tǒng)OS上配置網(wǎng)絡
堆棧
以執(zhí)行帶寬限制。
例如，以下Linux命令通過在通過端口5044的TCP連接上設置50 kbps的限制來限制Filebeat和Logstash之間的連接：
使用操作系統(tǒng)工具執(zhí)行帶寬限制可讓您更好地控制策略。 例如，您可以使用操作系統(tǒng)工具在白天限制帶寬，但不是在晚上。 或者您可以保留帶寬不受限制，但為流量分配低優(yōu)先級。
您的配置文件的結(jié)構(gòu)有問題，或者您使用了YAML分析程序無法解析的路徑或
表達式
，因為配置文件包含未正確轉(zhuǎn)義的字符。
如果YAML文件包含具有空格或不常用字符的路徑，請將路徑包裝在
單引號
中（請參閱將單引號標記為包裹路徑）。
另請參閱YAML提示和疑難解答中的一般建議：
索引模板可能未正確加載。 請參閱步驟4：在Elasticsearch中加載索引模板。
如果您最近執(zhí)行了加載或解析自定義結(jié)構(gòu)化日志的操作，則可能需要刷新索引以使字段在Kibana中可用。 要刷新索引，請使用刷新API。 例如：
【參考：
】
關(guān)于linux 安裝filebeat的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關(guān)注本站。
創(chuàng)新互聯(lián)網(wǎng)絡推廣網(wǎng)站建設，網(wǎng)站設計，網(wǎng)站建設公司，網(wǎng)站制作，網(wǎng)頁設計，1500元定制網(wǎng)站優(yōu)化全包，先排名后付費，已為上千家服務，聯(lián)系電話：13518219792
名稱欄目：Linux下如何安裝Filebeat，步驟詳解(linux安裝filebeat)
當前網(wǎng)址：http://fisionsoft.com.cn/article/dhdjgsc.html
