新聞中心
Yarn HA
RM:
a.啟動(dòng)時(shí)會(huì)通過向ZK的/hadoop-ha目錄寫一個(gè)lock文件,寫成功則為active,否則standyby
standy 的RM會(huì)一直監(jiān)控lock文件是否存在,如果不存在就會(huì)嘗試去創(chuàng)建,爭取為active RM
b.會(huì)接收客戶端的任務(wù)請(qǐng)求,接收和監(jiān)控nm的資源的匯報(bào),負(fù)責(zé)資源的分配與調(diào)度,啟動(dòng)和監(jiān)控我們的ApplicationMaster
NM:
節(jié)點(diǎn)上的資源的管理,啟動(dòng)container容器,運(yùn)行task的計(jì)算,上報(bào)資源,container情況匯報(bào)給RM和任務(wù)的處理情況匯報(bào)給作業(yè)的ApplicationMaster
ZKFC直接嵌入到RM中
RMStateStore直接存儲(chǔ)到ZK中
ApplicationMaster(AM):
單個(gè)application(job)的task的管理和調(diào)度,并向rm進(jìn)行資源的申請(qǐng),向nm發(fā)出 launch conta指令,接收NM的task的處理狀態(tài)信息。
面試題:ApplicationMaster 運(yùn)行在哪里
ApplicationMaster 運(yùn)行在nm機(jī)器上的container。AM也是個(gè)任務(wù),只不過在做它自己該完成的職責(zé)。
RMstatestore:
a.RM的作業(yè)信息存儲(chǔ)在ZK的/rmstore下,active RM向這個(gè)目錄寫 作業(yè)信息(即Application)
b當(dāng)activerm掛了,另外一個(gè)standby rm成功轉(zhuǎn)換為active rm后,會(huì)從/rmstore目錄讀取相應(yīng)的作業(yè)信息,重新構(gòu)建作業(yè)的內(nèi)存信息。
然后開始內(nèi)部服務(wù),開始接受NM的心跳,構(gòu)建集群資源的信息,并接收客戶端的提交作業(yè)的請(qǐng)求等。
ZKFC:
自動(dòng)故障轉(zhuǎn)移,只作為RM進(jìn)行的一個(gè)線程,而非獨(dú)立的守護(hù)進(jìn)程來啟動(dòng)。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時(shí)售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì),專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。
當(dāng)前標(biāo)題:YARNHA架構(gòu)-創(chuàng)新互聯(lián)
網(wǎng)站URL:http://fisionsoft.com.cn/article/pshei.html