建站
咨詢
售后
建站咨詢
新聞中心
本篇內(nèi)容介紹了“hadoop常用四大模塊文件是什么”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！
創(chuàng)新互聯(lián)專注于昌江企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè),商城網(wǎng)站定制開發(fā)。昌江網(wǎng)站建設(shè)公司,為昌江等地區(qū)提供建站服務(wù)。全流程按需搭建網(wǎng)站，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)
1.core-site.xml(工具模塊)。包括Hadoop常用的工具類，由原來的Hadoopcore部分更名而來。主要包括系統(tǒng)配置工具Configuration、遠程過程調(diào)用RPC、序列化機制和Hadoop抽象文件系統(tǒng)FileSystem等。它們?yōu)樵谕ㄓ糜布洗罱ㄔ朴嬎悱h(huán)境提供基本的服務(wù)，并為運行在該平臺上的軟件開發(fā)提供了所需的API。
2.hdfs-site.xml(數(shù)據(jù)存儲模塊)。分布式文件系統(tǒng)，提供對應(yīng)用程序數(shù)據(jù)的高吞吐量，高伸縮性，高容錯性的訪問。為Hadoop體系中數(shù)據(jù)存儲管理的基礎(chǔ)。它是一個高度容錯的系統(tǒng)，能檢測和應(yīng)對硬件故障，用于在低成本的通用硬件上運行。HDFS簡化了文件的一致性模型，通過流式數(shù)據(jù)訪問，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序。
namenode+ datanode + secondarynode
3.mapred-site.xml(數(shù)據(jù)處理模塊)，基于YARN的大型數(shù)據(jù)集并行處理系統(tǒng)。是一種計算模型，用以進行大數(shù)據(jù)量的計算。Hadoop的MapReduce實現(xiàn)，和Common、HDFS一起，構(gòu)成了Hadoop發(fā)展初期的三個組件。MapReduce將應(yīng)用劃分為Map和Reduce兩個步驟，其中Map對數(shù)據(jù)集上的獨立元素進行指定的操作，生成鍵-值對形式中間結(jié)果。Reduce則對中間結(jié)果中相同“鍵”的所有“值”進行規(guī)約，以得到最終結(jié)果。MapReduce這樣的功能劃分，非常適合在大量計算機組成的分布式并行環(huán)境里進行數(shù)據(jù)處理。
4.yarn-site.xml(作業(yè)調(diào)度+資源管理平臺)，任務(wù)調(diào)度和集群資源管理。resourcemanager + nodemanager
“hadoop常用四大模塊文件是什么”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！
新聞名稱：hadoop常用四大模塊文件是什么
本文路徑：http://fisionsoft.com.cn/article/jpgoch.html
