我欲封天耳根小说,好看的小说君子以泽,有声

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案

flume的使用方法是什么-創(chuàng)新互聯(lián)

這篇文章主要介紹“flume的使用方法是什么”，在日常操作中，相信很多人在flume的使用方法是什么問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”flume的使用方法是什么”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

專注于為中小企業(yè)提供網(wǎng)站制作、做網(wǎng)站服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)路南免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了1000多家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過(guò)網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

1. flume的基礎(chǔ)介紹

（1）常用的數(shù)據(jù)收集工具

- Chukwa（Apache）
- Scribe（Facebook）
- Fluentd：Fluentd 使用 C/Ruby 開(kāi)發(fā)，使用 JSON 文件來(lái)統(tǒng)一日志數(shù)據(jù)。
- Logstash（著名的開(kāi)源數(shù)據(jù)棧 ELK（ElasticSearch，Logstash，Kibana）中的那個(gè) L）
- Flume（Apache）：開(kāi)源，高可靠，高擴(kuò)展，容易管理，支持客戶擴(kuò)展的數(shù)據(jù)采集系統(tǒng)。

（2）為什么要使用數(shù)據(jù)收集工具？

首先看一下hadoop業(yè)務(wù)的整體開(kāi)發(fā)流程：
flume的使用方法是什么
數(shù)據(jù)采集---數(shù)據(jù)清洗etl(數(shù)據(jù)抽取，轉(zhuǎn)換，裝載)---數(shù)據(jù)存儲(chǔ)---數(shù)據(jù)計(jì)算分析---數(shù)據(jù)展現(xiàn)
其中數(shù)據(jù)采集是所有數(shù)據(jù)系統(tǒng)必不可少的，沒(méi)有數(shù)據(jù)一切都是空談。
那數(shù)據(jù)采集系統(tǒng)的特征又是什么呢？
- 構(gòu)建應(yīng)用系統(tǒng)和分析系統(tǒng)的橋梁，并將他們之間進(jìn)行解耦（web---hadoop）支持實(shí)時(shí)的在線分析系統(tǒng)和類似于hadoop之類的離線分析系統(tǒng)
- 具有高可擴(kuò)展性，即：當(dāng)數(shù)據(jù)增加時(shí)，可以通過(guò)增加節(jié)點(diǎn)進(jìn)行水平擴(kuò)展。

（3）為什么要使用flume？

- Apache Flume是一個(gè)分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。和sqooq同屬于數(shù)據(jù)采集系統(tǒng)組件，但是sqoop用來(lái)采集關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)。而flume用來(lái)采集流動(dòng)性數(shù)據(jù)。
- Flume 名字來(lái)源于原始的近乎實(shí)時(shí)的日志數(shù)據(jù)采集工具，現(xiàn)在被廣泛用于任何流事件數(shù) 據(jù)的采集，它支持從很多數(shù)據(jù)源聚合數(shù)據(jù)到 HDFS。
- 一般的采集需求，通過(guò)對(duì) flume 的簡(jiǎn)單配置即可實(shí)現(xiàn)。Flume 針對(duì)特殊場(chǎng)景也具備良好的自定義擴(kuò)展能力，因此，flume 可以適用于大部分的日常數(shù)據(jù)采集場(chǎng)景
- Flume 的優(yōu)勢(shì)：可橫向擴(kuò)展、延展性、可靠性

（4）flume的新老架構(gòu)介紹

接下來(lái)以一個(gè)很簡(jiǎn)單的場(chǎng)景為例，將weserver的日志收集到hdfs中。
NG架構(gòu)：
flume的使用方法是什么
應(yīng)用系統(tǒng)（web server）---flume的日志收集（source、channel、sink）----hdfs（數(shù)據(jù)存儲(chǔ)）
其中：
source：數(shù)據(jù)源（讀原始日志文件進(jìn)行讀?。?br/> channel：數(shù)據(jù)通道（緩沖，緩解讀寫(xiě)數(shù)據(jù)速度不一致問(wèn)題）
sink：數(shù)據(jù)的目的地（收集到的數(shù)據(jù)寫(xiě)出到最終的目的地）
OG架構(gòu)：（0.9以前）
flume的使用方法是什么
代理節(jié)點(diǎn)（agent） ----- 收集節(jié)點(diǎn)（collector）-----（master）主節(jié)點(diǎn)
Agent從各個(gè)數(shù)據(jù)源收集日志數(shù)據(jù)，將收集到的數(shù)據(jù)集中到collector，然后由收集節(jié)點(diǎn)匯總存入hdfs。Master負(fù)責(zé)管理agent和collector的活動(dòng)。

2. flume體系結(jié)構(gòu)和核心組件

（1）flume體系結(jié)構(gòu)

flume的使用方法是什么
Flume的數(shù)據(jù)由事件（event）貫穿始終，事件是flume的基本數(shù)據(jù)單位，它攜帶日志數(shù)據(jù)（字節(jié)數(shù)組形式），并且攜帶有頭信息，這些event由agent外部的source生成，當(dāng)source捕獲的事件后會(huì)進(jìn)行特定的格式化，然后source會(huì)把事件推入（單個(gè)或多個(gè)）channel中?？梢园?Channel 看作是一個(gè)緩沖區(qū)，它將保存事件直到 Sink 處理完該事件。Sink 負(fù)責(zé)持久化日志或者把事件推向另一個(gè) Source。
Flume以agent為最小的獨(dú)立運(yùn)行單位，一個(gè)agent就是一個(gè)jvm，單個(gè)agent由source、sink和channel三大組件構(gòu)成。
flume的使用方法是什么

（2）flume四大核心組件

Event
Event是flume數(shù)據(jù)傳輸?shù)幕締挝?。Flume以事件的形式將數(shù)據(jù)從源頭，傳送到最終的目的地。Event由可選的header和載有數(shù)據(jù)的一個(gè)byte array構(gòu)成。Header 是容納了 key-value 字符串對(duì)的無(wú)序集合，key 在集合內(nèi)是唯一的。
agent
agent 是 flume 流的基礎(chǔ)部分，一個(gè) Agent 包含 source，channel，sink 和其他組件；利用這些組件將 events 從一個(gè)節(jié)點(diǎn)傳輸?shù)搅硪粋€(gè)節(jié)點(diǎn)或最終目的地。
Source
Source負(fù)責(zé)接收event或者通過(guò)特殊機(jī)制產(chǎn)生event，并將events批量的放到一個(gè)或者多個(gè)channel中。
channel
Channel 位于 Source 和 Sink 之間，用于緩存進(jìn)來(lái)的 event。當(dāng)sink成功的將event發(fā)送到下一個(gè)的channel或者最終目的，event從channel刪除。
Sink
Sink負(fù)責(zé)將event傳輸?shù)较乱粋€(gè)或者最終目的地，成功后將event從channel移除。

3. flume的搭建

flume的搭建極為簡(jiǎn)單，基本上就是解壓即可，但是由于我們經(jīng)常將flume和大數(shù)據(jù)平臺(tái)聯(lián)系，所以需要我們將hadoop和jdk的環(huán)境搭建成功。
安裝
- 上傳安裝包
- 解壓安裝包
- 配置環(huán)境變量
- 修改配置文件：

[hadoop @hadoop01 ~]cd /application/flume/conf
[hadoop @hadoop01 ~]mv flume-env.sh.template flume-env.sh
[hadoop @hadoop01 ~]vim flume-env.sh
export JAVA_HOME=/application/jdk1.8    （修改這一個(gè)就行）

-測(cè)試是否安裝成功
[hadoop @hadoop01 ~]flume-ng version
flume的使用方法是什么
看見(jiàn)以上的結(jié)果表示安裝成功?。。?！
注意：一般的需要在哪臺(tái)機(jī)器中采集數(shù)據(jù)，就在哪臺(tái)機(jī)器中安裝flume

4. flume的初使用

flume的一切操作都是基于配置文件，所以，必須寫(xiě)配置文件。（必須是以.conf或者.properties結(jié)尾）。

這里我們以一個(gè)非常簡(jiǎn)單的案例，介紹flume如何使用：
flume的使用方法是什么
配置文件：

#example.conf
#這里的a1指的是agent的名字，可以自定義，但注意：同一個(gè)節(jié)點(diǎn)下的agent的名字不能相同
#定義的是sources、sinks、channels的別名
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#指定source的類型和相關(guān)的參數(shù)
a1.sources.r1.type = spooldir 
a1.sources.r1.spoolDir = /home/hadoop/flumedata  #監(jiān)聽(tīng)一個(gè)文件夾

#設(shè)定channel
a1.channels.c1.type = memory

#設(shè)定sink
a1.sinks.k1.type = logger

#Bind the source and sink to the channel
#設(shè)置sources的通道
a1.sources.r1.channels = c1
#設(shè)置sink的通道
a1.sinks.k1.channel = c1

準(zhǔn)備測(cè)試環(huán)境：
創(chuàng)建一個(gè)目錄：a1.sources.r1.spoolDir = /home/hadoop/flumedata
啟動(dòng)命令：

flume-ng agent --conf conf --conf-file /home/hadoop/example.conf --name a1 -Dflume.root.logger=INFO,console

然后移動(dòng)一個(gè)有內(nèi)容的文件到flume監(jiān)聽(tīng)的文件夾下（/home/hadoop/flumedata）：
查看此時(shí)窗口的狀態(tài)：
flume的使用方法是什么
內(nèi)容成功收集??！

到此，關(guān)于“flume的使用方法是什么”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱：flume的使用方法是什么-創(chuàng)新互聯(lián)
瀏覽路徑：http://fisionsoft.com.cn/article/eodhj.html