第七批大數(shù)據(jù)批處理平臺與分布式分析型數(shù)據(jù)庫測試觀察

作者：ZL 2018-12-27 00:10:25

企業(yè)動態(tài)

分布式

創(chuàng)新互聯(lián)公司專業(yè)IDC數(shù)據(jù)服務(wù)器托管提供商，專業(yè)提供成都服務(wù)器托管，服務(wù)器租用，成都聯(lián)通服務(wù)器托管，成都聯(lián)通服務(wù)器托管，成都多線服務(wù)器托管等服務(wù)器托管服務(wù)。

 　　2018年12月13日，由中國信息通信研究院、中國通信標(biāo)準(zhǔn)化協(xié)會主辦，TC601大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會承辦的“2018數(shù)據(jù)資產(chǎn)管理大會”在京召開。會上，中國通信標(biāo)準(zhǔn)化協(xié)會常務(wù)副秘書長代曉慧和中國信息通信研究院黨委副書記喬發(fā)民，共同為通過第七批分布式批處理平臺基礎(chǔ)能力/性能和分析型數(shù)據(jù)庫基礎(chǔ)能力/性能測評的15家企業(yè)頒發(fā)證書。

大數(shù)據(jù)行業(yè)風(fēng)向標(biāo)，測試規(guī)模屢創(chuàng)新高

經(jīng)過4年的發(fā)展，DCA大數(shù)據(jù)產(chǎn)品能力測評，已經(jīng)成為國內(nèi)權(quán)威的評測體系，成為廠商產(chǎn)品研發(fā)和用戶采購選型的風(fēng)向標(biāo)。目前，已進(jìn)行過的評測中，性能評測的最大測試數(shù)據(jù)集達(dá)100TB，數(shù)據(jù)規(guī)模全球領(lǐng)先;分布式批處理平臺基礎(chǔ)能力測試集群規(guī)模最大達(dá)到10000節(jié)點(diǎn)，由阿里云完成;性能測試集群規(guī)模最大達(dá)到300節(jié)點(diǎn)，其中華為通過了300個物理機(jī)節(jié)點(diǎn)的性能評測，阿里云通過300個云服務(wù)節(jié)點(diǎn)的性能評測，新華三通過了200個物理機(jī)節(jié)點(diǎn)的性能評測。

評測項目覆蓋廣泛，評測服務(wù)可靠權(quán)威

同時，分布式批處理平臺基礎(chǔ)能力評測囊括可用性、運(yùn)維管理、兼容性、功能、安全、多租戶、易用性、擴(kuò)展性共九大類測試項;分析型數(shù)據(jù)庫基礎(chǔ)能力評測囊括功能、運(yùn)維、安全、擴(kuò)展性、可用性、兼容性共六大類測試項;分布式批處理平臺性能評測包含SQL負(fù)載、NoSQL負(fù)載、機(jī)器學(xué)習(xí)三大項;分析型數(shù)據(jù)庫性能評測包含SQL負(fù)載、混合負(fù)載、壓力測試、穩(wěn)定性測試四大項。各品類評測項目覆蓋維度廣泛全面，均為業(yè)內(nèi)最權(quán)威最可靠的專業(yè)評測。

深度觀察評測結(jié)果，發(fā)掘差異研判趨勢

在2018年6月到2018年11月期間，國雙科技、航天恒星、騰訊云、南威、新華三、廣州匯智、華宇、中興、浪潮、寶信、數(shù)夢工廠、阿里云、航天信息、達(dá)博科技、百度共15家企業(yè)的18個產(chǎn)品參與了第七批分布式批處理平臺基礎(chǔ)能力/性能和分析型數(shù)據(jù)庫基礎(chǔ)能力/性能評測。從評測整體情況中能夠得到以下的一些觀察。

在分布式批處理平臺基礎(chǔ)能力方面，產(chǎn)品已經(jīng)成熟穩(wěn)定，總體來看71%的產(chǎn)品基于HDP和CDH的開源版本進(jìn)行二次開發(fā)，其余基于開源社區(qū)版或者完全自研。與此同時，容器化、支持AI和對大規(guī)模集群的支持是分布式批處理平臺的主要趨勢。在分析型數(shù)據(jù)庫基礎(chǔ)能力方面，產(chǎn)品的架構(gòu)和功能差別較大，其中一種是在開源數(shù)據(jù)庫的基礎(chǔ)上進(jìn)行封裝和二次開發(fā);一種是將SQL引擎嫁接于某種存儲庫之上;此外還有完全自研的產(chǎn)品。而功能的差異點(diǎn)也主要體現(xiàn)在SQL的兼容、運(yùn)維管理、擴(kuò)展性等方面。在分布式批處理平臺性能方面，相較上半年的第六批測試基本持平，在SQL測試中最優(yōu)成績和中位數(shù)有小幅下降，HBase測試成績總體接近于上一批。在分析型數(shù)據(jù)庫性能方面，國雙科技以優(yōu)異的成績成為本批次唯一通過了MPP性能評測的企業(yè)。

備注：MPP，大規(guī)模并行處理（Massively Parallel Processing），是多個處理器處理同一程序的不同部分時該程序的協(xié)調(diào)過程，工作的各處理器運(yùn)用自身的操作系統(tǒng)和內(nèi)存。

當(dāng)前標(biāo)題：第七批大數(shù)據(jù)批處理平臺與分布式分析型數(shù)據(jù)庫測試觀察
文章來源：http://fisionsoft.com.cn/article/copiddd.html