建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
spark streaming集群如何做容災(zāi)處理？
spark streaming集群做容災(zāi)處理spark streaming有兩種容錯(cuò)機(jī)制：spark自帶的checkpoint，使用Kafka direct自行維護(hù)offset。
創(chuàng)新互聯(lián)公司作為成都網(wǎng)站建設(shè)公司，專(zhuān)注成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)，有關(guān)企業(yè)網(wǎng)站設(shè)計(jì)方案、改版、費(fèi)用等問(wèn)題，行業(yè)涉及成都鑿毛機(jī)等多個(gè)領(lǐng)域，已為上千家企業(yè)服務(wù)，得到了客戶(hù)的尊重與認(rèn)可。
第一種方法中，checkpoint是spark streaming自帶的一種檢查點(diǎn)機(jī)制，可以通過(guò)一些特殊配置把輸入數(shù)據(jù)和計(jì)算過(guò)程中的數(shù)據(jù)存儲(chǔ)在可靠的文件系統(tǒng)中（比如hdfs或s3）。
它可以保存計(jì)算過(guò)程中的狀態(tài)，在發(fā)生失敗時(shí)可以控制回溯到什么程度，而不用重新進(jìn)行計(jì)算。驅(qū)動(dòng)器容錯(cuò)，在驅(qū)動(dòng)器崩潰重啟后，控制從什么位置繼續(xù)讀取數(shù)據(jù)。
checkpoint有三種應(yīng)用方法元數(shù)據(jù)信息，主要包括：streaming應(yīng)用程序的配置計(jì)算過(guò)程中一系列Dstream操作沒(méi)有完成的批處理，在運(yùn)行隊(duì)列中的批處理但是沒(méi)有完成；消費(fèi)數(shù)據(jù)的偏移量；編譯后的執(zhí)行程序（jar文件）序列化后的二進(jìn)制文件。
第二種方法基于接收者的方式，采用push方式，由kafka的topic將數(shù)據(jù)推向spark，使用API： 使用的是kafka高級(jí)消費(fèi)者API
效果： kafka將數(shù)據(jù)推到spark執(zhí)行節(jié)點(diǎn)中并儲(chǔ)存起來(lái)，然后由Spark Streaming啟動(dòng)作業(yè)來(lái)處理這些程序。
效果上，這種方式不是使用接收器接收，而是saprk每次拉取數(shù)據(jù)先去kafka中獲取上一次拉取的偏移量。根據(jù)偏移量獲取數(shù)據(jù)后，再進(jìn)行處理。
筆者推薦第二種處理方法，自行維護(hù)offset要比spark自帶的checkpoint更好一些，更加靈活、安全，容災(zāi)處理的能力也會(huì)更強(qiáng)。
MYsql異地容災(zāi)有哪些方式？
一般是做異地備份和異地容災(zāi)。目前也有更好的選擇，比如說(shuō)用“多備份”這款工具來(lái)實(shí)現(xiàn)異地多云備份容災(zāi)，把MySQL數(shù)據(jù)庫(kù)加密分布式存儲(chǔ)備份到百度云、阿里云、亞馬遜云、金山云、騰訊云、七牛、ucloud等，保證數(shù)據(jù)不丟失
異地容災(zāi)備份方案？
使用存儲(chǔ)虛擬化網(wǎng)關(guān)技術(shù)，統(tǒng)一管理各品牌型號(hào)的存儲(chǔ)設(shè)備。存儲(chǔ)虛擬化網(wǎng)關(guān)將業(yè)務(wù)數(shù)據(jù)同步寫(xiě)入多臺(tái)存儲(chǔ)設(shè)備，使得業(yè)務(wù)數(shù)據(jù)在多臺(tái)存儲(chǔ)設(shè)備間實(shí)現(xiàn)實(shí)時(shí)同步。
當(dāng)有存儲(chǔ)故障脫機(jī)時(shí)，存儲(chǔ)虛擬化網(wǎng)關(guān)在業(yè)務(wù)無(wú)感知的情況下切換到數(shù)據(jù)副本存儲(chǔ)以繼續(xù)提供服務(wù)。
數(shù)據(jù)本地備份，在本地?cái)?shù)據(jù)中心部署備份軟件平臺(tái)，備份物理機(jī)和虛擬機(jī)數(shù)據(jù)，提供數(shù)據(jù)回滾功能。
當(dāng)物理機(jī)損壞時(shí)，可以在備份平臺(tái)上直接運(yùn)行虛擬機(jī)，等物理機(jī)重新上線(xiàn)后，可選擇將整機(jī)數(shù)據(jù)重新同步推回到物理機(jī)。
數(shù)據(jù)異地容災(zāi)，通過(guò)備份平臺(tái)提供的數(shù)據(jù)復(fù)制功能，使用專(zhuān)用的網(wǎng)絡(luò)通道，后臺(tái)自動(dòng)將備份完成的數(shù)據(jù)復(fù)制到異地?cái)?shù)據(jù)中心的備份平臺(tái)內(nèi)，可通過(guò)備份操作平臺(tái)，將業(yè)務(wù)系統(tǒng)切換到異地?cái)?shù)據(jù)中心。
容災(zāi)是什么意思？
意思就是在自然災(zāi)害、設(shè)備故障、人為操作破壞等的災(zāi)難發(fā)生時(shí)，在保證生產(chǎn)系統(tǒng)的數(shù)據(jù)盡量少丟失的情況下，保持生存系統(tǒng)的業(yè)務(wù)不間斷地運(yùn)行。
容災(zāi)系統(tǒng)是指在相隔較遠(yuǎn)的異地，建立兩套或多套功能相同的IT系統(tǒng)，互相之間可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換，當(dāng)一處系統(tǒng)因意外（如火災(zāi)、地震等）停止工作時(shí)，整個(gè)應(yīng)用系統(tǒng)可以切換到另一處，使得該系統(tǒng)功能可以繼續(xù)正常工作。容災(zāi)技術(shù)是系統(tǒng)的高可用性技術(shù)的一個(gè)組成部分，容災(zāi)系統(tǒng)更加強(qiáng)調(diào)處理外界環(huán)境對(duì)系統(tǒng)的影響，特別是災(zāi)難性事件對(duì)整個(gè)IT節(jié)點(diǎn)的影響，提供節(jié)點(diǎn)級(jí)別的系統(tǒng)恢復(fù)功能。
到此，以上就是小編對(duì)于如何實(shí)現(xiàn)海外云服務(wù)器的災(zāi)備和容災(zāi)功能的問(wèn)題就介紹到這了，希望這4點(diǎn)解答對(duì)大家有用。
當(dāng)前名稱(chēng)：如何實(shí)現(xiàn)海外云服務(wù)器的災(zāi)備和容災(zāi)？
文章轉(zhuǎn)載：http://fisionsoft.com.cn/article/djhjdjo.html
