新聞中心
本篇文章為大家展示了Cloudera大數(shù)據(jù)平臺有什么用,內容簡明扼要并且容易理解,絕對能使你眼前一亮,通過這篇文章的詳細介紹希望你能有所收獲。
創(chuàng)新互聯(lián)建站是一家專注于網(wǎng)站制作、成都網(wǎng)站建設與策劃設計,封丘網(wǎng)站建設哪家好?創(chuàng)新互聯(lián)建站做網(wǎng)站,專注于網(wǎng)站建設10多年,網(wǎng)設計領域的專業(yè)建站公司;建站業(yè)務涵蓋:封丘等地區(qū)。封丘做網(wǎng)站價格咨詢:028-86922220
CDH:是Cloudera發(fā)布的一個自己封裝的Hadoop商業(yè)版軟件發(fā)行包,里面不僅包含了Cloudera的商業(yè)版Hadoop,同時CDH中也包含了各類常用的開源數(shù)據(jù)處理與存儲框架,如Spark、Hive、Hbase等。
Cloudera Manager:簡稱CM 是為了便于在集群中進行Hadoop等大數(shù)據(jù)處理相關的服務安裝和監(jiān)控管理的組件,對集群中主機、Hadoop、Hive、Spark等服務的安裝配置管理做了極大的簡化。它是Hadoop集群的軟件分發(fā)及管理監(jiān)控平臺,通過它可以快速地部署好一個Hadoop集群,并對集群的節(jié)點及服務進行實時監(jiān)控。
CM核心功能分為四大模塊
一、管理功能
1、批量自動化部署節(jié)點:CM提供強大的Hadoop集群部署能力,能夠批量地自動化部署節(jié)點,安裝一個Hadoop集群只需添加需要安裝的節(jié)點、安裝需要的組件和分配角色這三步,大大縮短了Hadoop的安裝時間,也簡化了Hadoop的安裝過程。
2、可視化的參數(shù)配置功能:Hadoop包含許多組件,不同組件都包含各種各樣的XML配置文件,CM提供界面GUI可視化參數(shù)配置功能。
3、智能參數(shù)驗證以及優(yōu)化:當用戶配置部分參數(shù)值有問題時,CM會給出智能錯誤提示,幫助用戶更合理地修改配置參數(shù)。
4、高可用配置:CM對關鍵的組件使用HA部署,如NameNode高可用可以通過CMweb管理界面,根據(jù)向導啟動HDFS HA。
5、權限管理:提供不同級別的管理權限,比如只讀用戶訪問CM的界面時,所有服務對應的啟停等操作選項都不可用。
二、監(jiān)控功能
1、服務監(jiān)控:查看服務和實例級別健康檢查的結果,對設置各種指標和系統(tǒng)運行情況進行全面監(jiān)控,而且系統(tǒng)會對管理員應該采取的行動提出建議。
2、主機監(jiān)控:監(jiān)控集群內所有主機的有關信息,包括主機上目前消耗的內存、主機上運行的角色分配等,不但可以顯示所有集群主機的匯總視圖,而且能進一步顯示單個主機的關鍵指標詳細視圖。
3、行為監(jiān)控:CM提供了列表和圖表來查看集群上進行的活動,不僅可以顯示當前正在進行的活動還可以通過儀表盤查看歷史活動。
4、事件活動:監(jiān)控界面可以查看事件,系統(tǒng)管理員可以通過時間范圍、服務、主機、關鍵字等字段信息過濾事件。
5、報警:通過CM界面可以對指定事件產生報警,并通過郵件或者SNMP通知。
6、日志和報告:可以輕松點擊一個鏈接查看相關特定服務的日志條目,并且CM可以對收集的歷史監(jiān)控數(shù)據(jù)統(tǒng)計生成報表。
三、診斷功能
1、周期性服務診斷:CM會對集群中運行的服務進行周期性的診斷,已檢測這些服務的狀態(tài)是否正常,如有異常會及時通知。
2、日志采集及檢索:對于一個大規(guī)模的集群,CM提供了日志的收集功能,能夠通過統(tǒng)一的界面查看集群中每臺機器、各項服務的日志,并且可以根據(jù)日志級別進行檢索。
3、系統(tǒng)性能使用報告:CM能夠產生系統(tǒng)性能報告,包括集群的CPU使用率、單節(jié)點的CPU使用率、單個進程的CPU使用率等各項性能數(shù)據(jù),這對hadoop集群調優(yōu)很重要。
四、集成功能
1、安全配置:為了方便Hadoop大數(shù)據(jù)平臺與原有身份認證系統(tǒng)如AD、LDAP等的集成,CM只需在界面上配置即可完成。
2、CM API:通過CM API 可以方便將CM集成到企業(yè)原有管理系統(tǒng)中
3、SNMP集成【簡單網(wǎng)絡管理協(xié)議(SNMP)】:CM提供了方面的SNMP集成能力,只需要簡單的配置就能夠將SNMP進行集成,并且將集群中的告警信息進行轉發(fā)。
CM的高級功能(付費)
1、軟件滾動升級:Hadoop版本升級和bug修復,支持升級過程中繼續(xù)對外提供服務及應用。
2、參數(shù)版本控制:任何時候進行配置修改并保證之后,CM會對該配置生成一個版本,支持查看歷史配置,并能回滾到不同版本,從而為集群恢復、問題診斷提供了可靠的依據(jù)。
3、備份及容災系統(tǒng)BDR:實現(xiàn)界面化的數(shù)據(jù)備份與容災恢復。
4、數(shù)據(jù)審計:支持對數(shù)據(jù)的審計和訪問
5、安全集成向導:啟動Kerberos集成和外部安全認證集成,如支持通過內部數(shù)據(jù)庫和外部服務進行用戶認證。
上述內容就是Cloudera大數(shù)據(jù)平臺有什么用,你們學到知識或技能了嗎?如果還想學到更多技能或者豐富自己的知識儲備,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
文章標題:Cloudera大數(shù)據(jù)平臺有什么用
文章鏈接:http://fisionsoft.com.cn/article/isjodp.html