建站
咨詢
售后
建站咨詢
新聞中心
怎么理解Flink指標(biāo)、監(jiān)控與告警，很多新手對(duì)此不是很清楚，為了幫助大家解決這個(gè)難題，下面小編將為大家詳細(xì)講解，有這方面需求的人可以來學(xué)習(xí)下，希望你能有所收獲。
創(chuàng)新互聯(lián)建站主要從事成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站制作、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)霞山,10多年網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專業(yè),歡迎來電咨詢建站服務(wù):028-86922220
為什么我們關(guān)注指標(biāo)監(jiān)控
指標(biāo)：衡量和描述對(duì)象的方式
可量化：比如最近天氣很熱。今天比昨天熱嗎？北京的溫度比上海更熱嗎？大家就沒有辦法評(píng)判，所以溫度就是這樣一個(gè)指標(biāo)，來量化我們天熱的程度。 標(biāo)準(zhǔn)化：我們習(xí)慣說的溫度是攝氏溫度，如果有人跟你講華氏溫度，說今天77度，你就會(huì)覺得很奇怪，氣溫怎么會(huì)有這么高的數(shù)值，因此，我們的指標(biāo)還需要是標(biāo)準(zhǔn)化的，需要有一個(gè)統(tǒng)一的標(biāo)準(zhǔn)。 多維度：南方的同學(xué)覺得35度悶得喘不過氣來；北方的同學(xué)覺得35度好像也就那樣。因?yàn)槲覀兂藲鉁剡@個(gè)指標(biāo)會(huì)影響人體的舒適度之外，還有一個(gè)指標(biāo)叫空氣濕度。所以衡量天氣需要結(jié)合多個(gè)維度的指標(biāo)。
監(jiān)控：對(duì)指標(biāo)進(jìn)行監(jiān)測(cè)和控制
實(shí)時(shí)：比如天氣預(yù)報(bào)，實(shí)時(shí)的預(yù)報(bào)才是我們需要的監(jiān)控內(nèi)容。 易用：相比于電視機(jī)里固定時(shí)間播報(bào)的天氣信息，手機(jī) App 就是易用的天氣監(jiān)控軟件。 可查詢歷史：比如前幾天某地一直在下雨，河流湍急，可能影響我出行的選擇。
監(jiān)控報(bào)警的鏈路——基于美團(tuán)點(diǎn)評(píng)實(shí)時(shí)計(jì)算平臺(tái)的實(shí)踐 常用的監(jiān)控報(bào)警項(xiàng)——哪些指標(biāo)可以高效地衡量我的作業(yè) 指標(biāo)的聚合方式——橫看成嶺側(cè)成峰 指標(biāo)監(jiān)控的應(yīng)用——有哪些常見的表達(dá)方式供參考
1. 監(jiān)控報(bào)警的鏈路
1.1 監(jiān)控報(bào)警鏈路
日志收集部分，我們首先是要把這些日志和指標(biāo)進(jìn)行統(tǒng)一化、集中化的收集。對(duì)于這一環(huán)，之前兩個(gè)講師也講過， Flink 現(xiàn)在提供的方式有三種：一個(gè)是在 Flink UI 上可以直接看到這個(gè)作業(yè)的一些指標(biāo)；第二種 REST API 從作業(yè)上獲取指標(biāo)；第三種就是配各種第三方的 Reporter 。美團(tuán)這邊是在 slf4j 的基礎(chǔ)上增加自己的維度信息格式化后往下發(fā)。 解析展示部分，使用一些 Flink 作業(yè)去解析聚合平臺(tái)所有作業(yè)的指標(biāo)數(shù)據(jù)，展示給用戶，也提供給下游使用。 監(jiān)控和報(bào)警部分，對(duì)于聚合完成了的指標(biāo)，做一些個(gè)性化的可配置的規(guī)則報(bào)警。
1.2 指標(biāo)展示：Grafana
2. 常用的監(jiān)控項(xiàng)
2.1 常用的指標(biāo)
對(duì)于系統(tǒng)指標(biāo)最常關(guān)注的是作業(yè)的可用性，如 uptime (作業(yè)持續(xù)運(yùn)行的時(shí)間)、fullRestarts (作業(yè)重啟的次數(shù))。
第二個(gè)關(guān)注的是作業(yè)的流量，可以通過 numRecordsIn、numBytesInLocal 等相關(guān)指標(biāo)來關(guān)注作業(yè)每天處理的消息數(shù)目及高峰時(shí)間段的流量，通過關(guān)注這些指標(biāo)可以觀察作業(yè)的流量表現(xiàn)是否正常。
然后是 CPU（如：CPU.Load）、內(nèi)存（如：Heap.Used ）、GC ( 如：GarbageCollector.Count、GarbageCollector.Time )及網(wǎng)絡(luò) ( inputQueueLength、outputQueueLength) 相關(guān)指標(biāo)，這些指標(biāo)一般是用來排查作業(yè)的故障信息。
另外是 checkpoint相關(guān)信息，例如最近完成的 checkpoint 的時(shí)長(zhǎng)（ lastCheckpointDuration ）、最近完成的 checkpoint 的大小（ lastCheckpointSize ）、作業(yè)失敗后恢復(fù)的能力（ lastCheckpointRestoreTimestamp ）、成功和失敗的 checkpoint 數(shù)目（ numberOfCompletedCheckpoints、numberOfFailedCheckpoints ）以及在 Exactly once 模式下 barrier 對(duì)齊時(shí)間（ checkpointAlignmentTime ）。
還有就是 connector的指標(biāo)，例如常用的 Kafka connector ，Kafka 自身提供了一些指標(biāo)，可以幫助我們了解到作業(yè)最新消費(fèi)的消息的狀況、作業(yè)是否有延遲等。
比如處理邏輯耗時(shí)打點(diǎn)，例如包含復(fù)雜邏輯的業(yè)務(wù)系統(tǒng)，可以通過在邏輯前后進(jìn)行打點(diǎn)，這樣可以查看每條消息處理完這個(gè)邏輯的耗時(shí)。
另一塊是外部服務(wù)調(diào)用的性能， 在 Flink 作業(yè)中可能需要訪問外部存儲(chǔ)（如 redis ）, 可以通過打點(diǎn)來查看請(qǐng)求的耗時(shí)、請(qǐng)求的成功率等。
還有是緩存命中率，有時(shí)候由于數(shù)據(jù)集過大，我們只訪問熱數(shù)據(jù)，此時(shí)會(huì)在內(nèi)存中緩存一部分信息，我們可以監(jiān)控緩存命中率，如果緩存命中率非常高說明緩存有效，如果緩存命中率非常低，一直在訪問外部存儲(chǔ)，就需要考慮緩存設(shè)計(jì)的是否合理。
2.2 如何確定哪些指標(biāo)需要關(guān)注？
第一點(diǎn)是作業(yè)狀態(tài)相關(guān)的， 如作業(yè)是否出故障、作業(yè)是否存活、作業(yè)是否穩(wěn)定運(yùn)行、影響作業(yè)可用性的風(fēng)險(xiǎn)因素（如上次 checkpoint 是否成功、最近成功的 checkpoint 的時(shí)間）。
第二點(diǎn)是作業(yè)性能相關(guān)的，如作業(yè)的處理延遲、數(shù)據(jù)傾斜、性能瓶頸（如外部訪問）等。
第三點(diǎn)是業(yè)務(wù)邏輯相關(guān)，如上游數(shù)據(jù)質(zhì)量、新上的邏輯是否存在問題、數(shù)據(jù)是否存在丟失（ Exactly once 語(yǔ)義中數(shù)據(jù)是否允許丟失）。
3. 指標(biāo)的聚合方式
4. 指標(biāo)監(jiān)控的應(yīng)用
4.1 作業(yè)異常報(bào)警
作業(yè)狀態(tài)異常：包括作業(yè)任務(wù)的異常狀態(tài)如 failing，也包括 uptime 等指標(biāo)的異常。 作業(yè)無指標(biāo)上報(bào)：作業(yè)無指標(biāo)上報(bào)會(huì)給作業(yè)的負(fù)責(zé)人發(fā)報(bào)警；當(dāng)上報(bào)的作業(yè)多到一定程度了，達(dá)到預(yù)值的時(shí)候會(huì)直接給平臺(tái)的管理員發(fā)報(bào)警。 指標(biāo)達(dá)到閾值：是大家最常用的報(bào)警項(xiàng)。比如： 處理量跌0 消費(fèi)延遲（落后一定數(shù)量、持續(xù)一定時(shí)間） 失敗率、丟失率等 個(gè)性化：實(shí)時(shí)計(jì)算平臺(tái)中有很多類任務(wù)，不同的任務(wù)它會(huì)有不同的特性。比如： 報(bào)警時(shí)段：不同的時(shí)間段報(bào)警，可能需要有不同的域值，或者不同的報(bào)警方式（公司通訊軟件報(bào)警、電話報(bào)警等）
聚合方式：不同的業(yè)務(wù)可能會(huì)有不同的報(bào)警的聚合的方式，這個(gè)也是需要盡量的兼容的。 錯(cuò)誤日志、關(guān)鍵詞日志：當(dāng)錯(cuò)誤日志到達(dá)一定量或者日志出現(xiàn)某關(guān)鍵詞時(shí)，觸發(fā)報(bào)警。
4.2 指標(biāo)大盤
反映平臺(tái)整體的現(xiàn)狀： 異常值高亮 多維度聚合 時(shí)間線對(duì)比等 及時(shí)發(fā)現(xiàn)并快速定位到故障 給出平臺(tái)可優(yōu)化的方向 便于統(tǒng)籌資源分配
4.3 自動(dòng)化運(yùn)維
無法運(yùn)維：沒有指標(biāo)，作業(yè)狀態(tài)是個(gè)黑盒，出了問題一群人查代碼。 手動(dòng)運(yùn)維：重啟，擴(kuò)容，回滾、遷移，降級(jí)，糾正錯(cuò)誤代碼，優(yōu)化處理邏輯。手動(dòng)運(yùn)維表示無論在干什么，當(dāng)報(bào)警電話一來，你需要掏出電腦、手機(jī)去排查問題。 輔助運(yùn)維：當(dāng)手動(dòng)運(yùn)維做多了，把大家的業(yè)務(wù)作業(yè)的各項(xiàng)指標(biāo)都進(jìn)行標(biāo)準(zhǔn)化，我們就可以得到一些參考值。把這些經(jīng)驗(yàn)匯總，作為其他同學(xué)的運(yùn)維的時(shí)候參考的建議，這樣即使是新人也可以快速借助這些輔助工具進(jìn)行處理，降低學(xué)習(xí)成本。 智能運(yùn)維：智能運(yùn)維是不需要人處理，當(dāng)發(fā)生故障的時(shí)候，自動(dòng)操作的運(yùn)維方式。執(zhí)行作業(yè)的機(jī)器掛了，自動(dòng)拉起，自動(dòng)把作業(yè)啟動(dòng)起來。資源不足了，自動(dòng)去擴(kuò)容。線上的作業(yè)有問題，自動(dòng)切換到備用的作業(yè)……當(dāng)然目前能做到的這些只能解決一部分問題，一些代碼問題帶來的故障還是需要人為介入修復(fù) bug。
Q&A
在設(shè)計(jì)整套系統(tǒng)的架構(gòu)時(shí)，需要有一定的兼容性，不能只關(guān)注一類指標(biāo)。
設(shè)計(jì)初期需要考慮有哪些類型的指標(biāo)，每個(gè)類型的指標(biāo)有什么樣的特征，可能有哪些聚合的維度，用什么樣的方式去聚合。
搭建模型。
設(shè)計(jì)，先把指標(biāo)的特征提取出來，然后對(duì)這些特征去進(jìn)行設(shè)計(jì)，最后做一個(gè)能兼容的系統(tǒng)，這樣對(duì)于已知類型的指標(biāo)，就只需修改配置就可以擴(kuò)展了。
看完上述內(nèi)容是否對(duì)您有幫助呢？如果還想對(duì)相關(guān)知識(shí)有進(jìn)一步的了解或閱讀更多相關(guān)文章，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對(duì)創(chuàng)新互聯(lián)的支持。
本文題目：怎么理解Flink指標(biāo)、監(jiān)控與告警
URL分享：http://fisionsoft.com.cn/article/pihdoj.html
