建站
咨詢
售后
建站咨詢
新聞中心
Kafka Connect如何實現(xiàn)同步RDS binlog數(shù)據(jù)，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。
我們提供的服務有：網(wǎng)站制作、網(wǎng)站建設、微信公眾號開發(fā)、網(wǎng)站優(yōu)化、網(wǎng)站認證、藤縣ssl等。為成百上千家企事業(yè)單位解決了網(wǎng)站和推廣的問題。提供周到的售前咨詢和貼心的售后服務，是有科學管理、有技術的藤縣網(wǎng)站制作公司
下面介紹如何在E-MapReduce上使用Kafka Connect實現(xiàn)同步RDS binlog數(shù)據(jù)
1. 背景
在我們的業(yè)務開發(fā)中，往往會碰到下面這個場景：
業(yè)務更新數(shù)據(jù)寫到數(shù)據(jù)庫中
業(yè)務更新數(shù)據(jù)需要實時傳遞給下游依賴處理
所以傳統(tǒng)的處理架構可能會這樣：
本文將演示如何在E-MapReduce上實現(xiàn)將RDS binlog實時同步到Kafka集群中。
2. 環(huán)境準備
實驗中使用VPC網(wǎng)絡環(huán)境，以下實例創(chuàng)建時默認都是在VPC環(huán)境下。
2.1 準備一個測試RDS數(shù)據(jù)庫
創(chuàng)建一個RDS實例，版本選擇5.7。這里不贅述如何創(chuàng)建RDS，詳細流程請參考RDS文檔。創(chuàng)建完如圖：
注意：RDS實例和E-MapReduce Kafka集群最好在同一個VPC中，否則需要打通兩個VPC之間的網(wǎng)絡。
3. Kafka Connect
3.1 Connector
Kafka Connect是一個用于Kafka和其他數(shù)據(jù)系統(tǒng)之間進行數(shù)據(jù)傳輸?shù)墓ぞ撸梢詫崿F(xiàn)基于Kafka的數(shù)據(jù)管道，打通上下游數(shù)據(jù)源。我們需要做的就是在Kafka Connect服務上運行一個Connector，這個Connector是具體實現(xiàn)如何從/向數(shù)據(jù)源中讀/寫數(shù)據(jù)。Confluent提供了很多Connector實現(xiàn)，你可以在這里下載。不過今天我們使用Debezium提供的一個MySQL Connector插件，下載地址。
下載這個插件，并將解壓出來的jar包全部拷貝到kafka lib目錄下。注意：需要將這些jar包拷貝到Kafka集群所有機器上。
在Kafka集群的服務列表中重啟Kafka Connect組件。
登錄到Kafka集群，配置并創(chuàng)建一個connector，命令如下：
3.3 注意事項
server_id是多少?：你可以在RDS執(zhí)行"SELECT @@server_id;"查到。
創(chuàng)建connector時可能會出現(xiàn)連接失敗，請確保RDS的白名單已經(jīng)授權了Kafka集群機器訪問。
4 測試
4.1 創(chuàng)建一張表
插入幾條數(shù)據(jù)
結果如圖所示：
看完上述內(nèi)容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝您對創(chuàng)新互聯(lián)的支持。
網(wǎng)頁標題：KafkaConnect如何實現(xiàn)同步RDSbinlog數(shù)據(jù)
網(wǎng)站網(wǎng)址：http://fisionsoft.com.cn/article/ighdei.html
