建站
咨詢
售后
建站咨詢
新聞中心
這篇文章的內(nèi)容主要圍繞如何進(jìn)行Fair Scheduler和Capacity Scheduler比較進(jìn)行講述，文章內(nèi)容清晰易懂，條理清晰，非常適合新手學(xué)習(xí)，值得大家去閱讀。感興趣的朋友可以跟隨小編一起閱讀吧。希望大家通過(guò)這篇文章有所收獲！
創(chuàng)新互聯(lián)主營(yíng)恩施土家網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,手機(jī)APP定制開(kāi)發(fā),恩施土家h5成都微信小程序搭建,恩施土家網(wǎng)站營(yíng)銷推廣歡迎恩施土家等地區(qū)企業(yè)咨詢
下面提供有關(guān)選擇Capacity Scheduler的好處和性能改進(jìn)的信息，以及Fair Scheduler和Capacity Scheduler之間的功能比較。
為什么需要Scheduler？
Cloudera Data Platform（CDP）在YARN群集中僅支持Capacity Scheduler。
在發(fā)布CDP之前，Cloudera客戶根據(jù)所使用的產(chǎn)品（分別是CDH或HDP）使用了兩個(gè)調(diào)度程序（Fair Scheduler和Capacity Scheduler）之一。
CDP中收斂到一個(gè)調(diào)度程序是一個(gè)艱難的選擇，但最終植根于我們?yōu)榭蛻艚档蛷?fù)雜性的意圖，同時(shí)幫助我們集中精力進(jìn)行未來(lái)的投資。多年來(lái)，這兩個(gè)調(diào)度程序都有很大的發(fā)展，以至于Fair Scheduler從Capacity Scheduler借用了幾乎所有功能，反之亦然。鑒于此，我們最終決定將您的所有YARN群集的工作負(fù)載都放在Capacity Scheduler的上面。
當(dāng)前使用Fair Scheduler的群集在遷移到CDP時(shí)必須遷移到Capacity Scheduler。Cloudera提供了有關(guān)此類遷移的工具，文檔和相關(guān)幫助。
使用容量計(jì)劃程序的好處
以下是使用Capacity Scheduler時(shí)的一些好處：
與Ranger集成
節(jié)點(diǎn)分區(qū)/標(biāo)簽
改進(jìn)了在云原生環(huán)境中的Scheduler，例如更好的垃圾箱打包，自動(dòng)擴(kuò)展支持等。
計(jì)劃吞吐量的提高
全局調(diào)度框架
一次查找多個(gè)節(jié)點(diǎn)
相似性/反相似性：僅在運(yùn)行應(yīng)用程序Y的那些節(jié)點(diǎn)上運(yùn)行應(yīng)用程序X，反之亦然。不要在同一節(jié)點(diǎn)上運(yùn)行應(yīng)用程序X和應(yīng)用程序Y。
調(diào)度程序性能改進(jìn)
提供有關(guān)全局調(diào)度功能及其測(cè)試結(jié)果的信息。
全局計(jì)劃改進(jìn)帶來(lái)的改進(jìn)（YARN-5139）
在更改全局調(diào)度之前，YARN調(diào)度程序處于整體鎖定狀態(tài)，表現(xiàn)不佳。全局調(diào)度在很大程度上改進(jìn)了YARN調(diào)度程序的內(nèi)部鎖定結(jié)構(gòu)和線程模型。調(diào)度程序現(xiàn)在可以解耦放置決策并更改內(nèi)部數(shù)據(jù)結(jié)構(gòu)。這還可以使您一次查找多個(gè)節(jié)點(diǎn)，云上的自動(dòng)縮放和bin-packing策略會(huì)使用這些節(jié)點(diǎn)。有關(guān)更多信息，請(qǐng)參見(jiàn) 設(shè)計(jì)和實(shí)現(xiàn)說(shuō)明。
在模擬的基礎(chǔ)上，使用全局調(diào)度功能的測(cè)試結(jié)果顯示：
這是一個(gè)具有20000個(gè)節(jié)點(diǎn)和47000個(gè)正在運(yùn)行的應(yīng)用程序的模擬環(huán)境。有關(guān)這些測(cè)試的更多信息，請(qǐng)參見(jiàn)性能報(bào)告。
YARN社區(qū)的性能測(cè)試
微軟發(fā)布了Hydra：用于數(shù)據(jù)中心規(guī)模分析的聯(lián)合資源管理器（Carlo等）報(bào)告，重點(diǎn)介紹了可伸縮性（將YARN部署到超過(guò)25萬(wàn)個(gè)節(jié)點(diǎn)，其中包括五個(gè)大型聯(lián)合集群，每個(gè)集群有5萬(wàn)個(gè)節(jié)點(diǎn)）和通過(guò)使用Capacity Scheduler調(diào)度獲得更高的性能（每個(gè)群集的調(diào)度程序每秒可以分配超過(guò)40k的容器）。這是世界上最大的YARN部署。
我們還看到了社區(qū)中其他公司的性能數(shù)據(jù)，這些數(shù)據(jù)與我們使用模擬器測(cè)試的結(jié)果一致（對(duì)于具有數(shù)千個(gè)節(jié)點(diǎn)的集群，每秒數(shù)千個(gè)容器分配）。
免責(zé)聲明：上面討論的性能數(shù)字與群集的大小，群集上運(yùn)行的工作負(fù)載，隊(duì)列結(jié)構(gòu)，運(yùn)行狀況（例如節(jié)點(diǎn)管理器，磁盤(pán)和網(wǎng)絡(luò)），容器攪動(dòng)等有關(guān)。這通常需要對(duì)調(diào)度程序和其他群集參數(shù)進(jìn)行微調(diào)，以達(dá)到理想的性能。這不是僅通過(guò)使用CDP就可以實(shí)現(xiàn)的保證數(shù)量。
功能比較
隨著時(shí)間的推移，兩個(gè)調(diào)度程序的功能都變得相似。表中列出了當(dāng)前功能列表以及兩個(gè)調(diào)度程序之間的差異。
支持的功能
功能列表 | Capacity Scheduler | Fair Scheduler | 評(píng)論 | |
隊(duì)列 | 分層隊(duì)列 | 是 | 是 | |
彈性隊(duì)列容量來(lái)實(shí)現(xiàn)更好的資源共享 | 是 | 是 | ||
隊(duì)列中基于百分比的資源配置 | 是 | 是 | 百分比和絕對(duì)資源設(shè)置不能同時(shí)使用。 | |
自動(dòng)隊(duì)列創(chuàng)建 | 是 | 是 | ||
用戶映射（用戶/組到隊(duì)列的映射） | 是 | 是 | ||
CLI / REST API支持來(lái)管理隊(duì)列 | 是 | 是 | ||
在隊(duì)列之間移動(dòng)應(yīng)用程序 | 是 | 是 | ||
創(chuàng)建/刪除/修改動(dòng)態(tài)隊(duì)列 | 是 | 是 | ||
隊(duì)列中的預(yù)訂支持 | 是 | 是 | ||
授權(quán) | 授權(quán)控制（隊(duì)列中用于提交/管理/管理的ACL） | 是 | 是 | |
第三方ACL控制（Ranger） | 是 | 是 | ||
應(yīng)用位置 | 節(jié)點(diǎn)標(biāo)簽支持 | 是 | 否 | |
Hive放置集成 | 是 | 是 | ||
節(jié)點(diǎn)屬性支持 | 是 | 否 | ||
放置約束支持 | 是 | 否 | 受支持的約束在當(dāng)前實(shí)施中受到限制。 | |
節(jié)點(diǎn)位置 | 是 | 是 | ||
位置延遲控制 | 是 | 是 | ||
用戶限制配額管理 | 是 | 是 | ||
AM資源配額管理 | 是 | 是 | ||
隊(duì)列優(yōu)先級(jí) | 是 | 否 | 通過(guò)隊(duì)列權(quán)重間接管理。 | |
每個(gè)容器單位的最大和最小分配限制 | 是 | 是 | ||
調(diào)度 | 異步調(diào)度支持 | 是 | 是 | 調(diào)度程序之間的實(shí)現(xiàn)有所不同，因此不應(yīng)視為等效。 |
多種資源類型支持（CPU，內(nèi)存，GPU等） | 是 | 是 | ||
隊(duì)列排序策略（公平，F(xiàn)IFO等） | 是 | 是 | ||
每個(gè)心跳有多個(gè)容器分配 | 是 | 是 | ||
搶占 | 隊(duì)列間搶占支持 | 是 | 是 | |
隊(duì)列內(nèi)搶占支持 | 是 | 是 | ||
基于預(yù)留的搶占 | 是 | 是 | ||
基于隊(duì)列優(yōu)先級(jí)的搶占 | 是 | 否 | 在做出搶占式?jīng)Q策時(shí)，將考慮隊(duì)列權(quán)重。 | |
應(yīng)用 支持 | 一流的應(yīng)用概念 | 是 | 是 | |
應(yīng)用優(yōu)先級(jí) | 是 | 是 | ||
應(yīng)用程序超時(shí) | 是 | 是 | ||
跨隊(duì)列移動(dòng)應(yīng)用程序 | 是 | 是 | ||
高可用性有狀態(tài)應(yīng)用程序恢復(fù) | 是 | 是 |
路線圖中的功能
功能列表 | Capacity Scheduler | Fair Scheduler | 評(píng)論 | |
隊(duì)列 | 隊(duì)列中的絕對(duì)資源配置 | 是 | 是 | 百分比和絕對(duì)資源設(shè)置不能同時(shí)使用。 |
應(yīng)用位置 | 最大應(yīng)用數(shù)量 | 否 | 是 | 通過(guò)AM資源配額間接管理。 |
調(diào)度 | 基于應(yīng)用程序大小的公平性 | 否 | 是 |
從Fair Scheduler遷移到Capacity Scheduler
從CDP私有云Base 7.1版本開(kāi)始，Cloudera提供fs2cs轉(zhuǎn)換實(shí)用程序，它是一個(gè)CLI應(yīng)用程序，并且是YARN CLI命令的一部分。該實(shí)用程序有助于從Fair Scheduler遷移到Capacity Scheduler。
感謝你的閱讀，相信你對(duì)“如何進(jìn)行Fair Scheduler和Capacity Scheduler比較”這一問(wèn)題有一定的了解，快去動(dòng)手實(shí)踐吧，如果想了解更多相關(guān)知識(shí)點(diǎn)，可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站！小編會(huì)繼續(xù)為大家?guī)?lái)更好的文章！
當(dāng)前題目：如何進(jìn)行FairScheduler和CapacityScheduler比較
標(biāo)題路徑：http://fisionsoft.com.cn/article/jcoigs.html
