建站
咨詢
售后
建站咨詢
新聞中心
距離上個(gè)月的用戶體驗(yàn)升級(jí)帖已經(jīng)過(guò)去一個(gè)月了，在這一個(gè)月的時(shí)間里，DataPipeline的小伙伴都在忙些什么呢？
創(chuàng)新互聯(lián)專注于網(wǎng)站設(shè)計(jì)、做網(wǎng)站、網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站制作、網(wǎng)站開(kāi)發(fā)。公司秉持“客戶至上,用心服務(wù)”的宗旨,從客戶的利益和觀點(diǎn)出發(fā),讓客戶在網(wǎng)絡(luò)營(yíng)銷中找到自己的駐足之地。尊重和關(guān)懷每一位客戶，用嚴(yán)謹(jǐn)?shù)膽B(tài)度對(duì)待客戶，用專業(yè)的服務(wù)創(chuàng)造價(jià)值，成為客戶值得信賴的朋友，為客戶解除后顧之憂。
為能更好地服務(wù)用戶，DataPipeline最新版本支持：
1. 一個(gè)數(shù)據(jù)源數(shù)據(jù)同時(shí)分發(fā)（實(shí)時(shí)或定時(shí)）到多個(gè)目的地；
2. 提升Hive的使用場(chǎng)景：
寫(xiě)入Hive目的地時(shí)，支持選擇任意目標(biāo)表字段作為分區(qū)字段；
可將Hive作為數(shù)據(jù)源定時(shí)分發(fā)到多個(gè)目的地。
3. 定時(shí)同步關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)時(shí)，可自定義讀取策略來(lái)滿足各個(gè)表的同步增量需求。
本篇將首先介紹一下一對(duì)多數(shù)據(jù)分發(fā)及批量讀取模式2.0的功能，后續(xù)功能會(huì)陸續(xù)發(fā)布。
在歷史版本中，DataPipeline每個(gè)任務(wù)只允許有一個(gè)數(shù)據(jù)源和目的地，從數(shù)據(jù)源讀取的數(shù)據(jù)只允許寫(xiě)入到一張目標(biāo)表。這會(huì)導(dǎo)致無(wú)法完美地支持客戶的兩個(gè)需求場(chǎng)景：
需求場(chǎng)景一：
客戶從一個(gè)API數(shù)據(jù)源或者從KafkaTopic獲取JSON數(shù)據(jù)后，通過(guò)高級(jí)清洗解析寫(xiě)入到目的地多個(gè)表或者多個(gè)數(shù)據(jù)庫(kù)中，但歷史版本無(wú)法同時(shí)寫(xiě)入到多個(gè)目的地，只能創(chuàng)建多個(gè)任務(wù)。這會(huì)導(dǎo)致數(shù)據(jù)源端會(huì)重復(fù)獲取同一批數(shù)據(jù)（而且無(wú)法完全保證數(shù)據(jù)一致性），浪費(fèi)資源，并且無(wú)法統(tǒng)一管理。
需求場(chǎng)景二：
客戶希望創(chuàng)建一個(gè)數(shù)據(jù)任務(wù)，并從一個(gè)關(guān)系型數(shù)據(jù)庫(kù)表實(shí)時(shí)（或定時(shí)）分發(fā)到多個(gè)數(shù)據(jù)目的地。在歷史版本中，用戶需要?jiǎng)?chuàng)建多個(gè)任務(wù)來(lái)解決，但創(chuàng)建多個(gè)任務(wù)執(zhí)行該需求時(shí)會(huì)重復(fù)讀取數(shù)據(jù)源同一張表的數(shù)據(jù)，比較浪費(fèi)資源?？蛻舾Ｍ蛔x取一次便可直接解析為多個(gè)表，完成該需求場(chǎng)景。
新功能解決的問(wèn)題：
1. 用戶在一個(gè)數(shù)據(jù)任務(wù)中選擇一個(gè)數(shù)據(jù)源后，允許選擇多個(gè)目的地或者多個(gè)表作為寫(xiě)入對(duì)象，而不需要?jiǎng)?chuàng)建多個(gè)任務(wù)來(lái)實(shí)現(xiàn)該需求。
2. 用戶在單個(gè)任務(wù)中針對(duì)每個(gè)目的地的類型和特性，可以單獨(dú)設(shè)置各個(gè)目的地表結(jié)構(gòu)和寫(xiě)入策略，大大減少了數(shù)據(jù)源讀取次數(shù)和管理成本。
擴(kuò)展Hive相關(guān)使用場(chǎng)景
歷史版本中，DataPipeline支持各類型數(shù)據(jù)源數(shù)據(jù)同步到Hive目的地的需求場(chǎng)景。但由于每個(gè)客戶的Hive使用方式、數(shù)據(jù)存儲(chǔ)方式不同，兩個(gè)需求場(chǎng)景在歷史版本中并沒(méi)有得到支持。
需求場(chǎng)景一：
動(dòng)態(tài)分區(qū)字段。歷史版本中，用戶只允許選擇時(shí)間類型字段作為分區(qū)字段。在真實(shí)的客戶場(chǎng)景中除了按照時(shí)間做分區(qū)策略外，客戶希望指定Hive表任意字段作為分區(qū)字段。
需求場(chǎng)景二：
客戶希望除了以Hive作為目的地，定時(shí)寫(xiě)入數(shù)據(jù)到Hive外，客戶還希望使用DataPipeline可以定時(shí)分發(fā)Hive表數(shù)據(jù)到各個(gè)應(yīng)用系統(tǒng)，解決業(yè)務(wù)需求。
新功能解決的問(wèn)題：
1. 允許用戶指定目的地Hive表中任何字段作為分區(qū)字段，并支持選擇多個(gè)分區(qū)字段。
2. 新增Hive數(shù)據(jù)源，可作為數(shù)據(jù)任務(wù)讀取對(duì)象。
需求場(chǎng)景：
關(guān)系型數(shù)據(jù)庫(kù)（以MySQL為例）的表沒(méi)有權(quán)限讀取BINLOG，但在業(yè)務(wù)上客戶需要定期同步增量數(shù)據(jù)，在權(quán)限只有SELECT情況下，需要做到增量數(shù)據(jù)的同步任務(wù)。
新版本出現(xiàn)之前，DataPipeline在用戶選擇批量讀取模式時(shí)提供了增量識(shí)別字段的功能，可以選擇自增字段或者更新時(shí)間字段作為條件完成增量數(shù)據(jù)的同步，但部分表可能沒(méi)有這種類型的字段，或者增量同步的邏輯不通（比如：只同步過(guò)去1小時(shí)的數(shù)據(jù)，或只同步到5分鐘前的數(shù)據(jù)等）。
新功能解決的問(wèn)題：
1. 在關(guān)系型數(shù)據(jù)庫(kù)作為數(shù)據(jù)源的情況下，允許用戶針對(duì)每一個(gè)表設(shè)置WHERE讀取條件，并提供lastmax方法。
2. 使用該函數(shù)DataPipeline會(huì)取該任務(wù)下已同步數(shù)據(jù)中某一個(gè)字段的最大值，用戶可以使用該值作為WHERE語(yǔ)句讀取條件。
3. 用戶使用last_max（）函數(shù)，在首次執(zhí)行該語(yǔ)句或?qū)?yīng)字段暫無(wú)數(shù)值時(shí)，則會(huì)忽略該函數(shù)相關(guān)的讀取條件。
4. 允許用戶結(jié)合其他數(shù)據(jù)庫(kù)提供的方法編輯讀取條件：
例：以時(shí)間字段作為讀取條件，每次只同步一小時(shí)前的數(shù)據(jù)，且只同步未曾讀取的數(shù)據(jù)。
SELECT * FROMtable1 WHEREupdate_time > 'last_max(update_time)' ANDupdate_time<= DATE_SUB(NOW(), INTERVAL 24 HOUR)
相較于之前的一對(duì)一設(shè)置，新版本上線后用戶可以通過(guò)批量設(shè)置增量識(shí)別字段、批量移除、批量修改表名稱等，批量地操作一些表，批量地做一些動(dòng)態(tài)修改，減少用戶配置成本。例如，現(xiàn)在需要在200張表的名稱后面都加一個(gè)data_warehouse，不同于以往的逐一添加，現(xiàn)在可以批量添加這些前綴后綴。
DataPipeline每一次版本的迭代都凝聚了團(tuán)隊(duì)對(duì)企業(yè)數(shù)據(jù)使用需求的深入思索，其它新功能還在路上，很快就會(huì)跟大家見(jiàn)面了，希望能夠切實(shí)幫助大家更敏捷高效地獲取數(shù)據(jù)。
新聞名稱：DataPipeline數(shù)據(jù)融合重磅功能丨一對(duì)多實(shí)時(shí)分發(fā)、批
文章分享：http://fisionsoft.com.cn/article/ieccis.html
