新聞中心
總結(jié)平常工作中幾種校驗數(shù)據(jù)的思路
1、對比其他渠道數(shù)據(jù)結(jié)果
查詢需求:從Hive端查詢20190909當天的訂單量(簡單例子),需要校驗SQL結(jié)果是否正確
校驗方法:Hive的上游數(shù)據(jù)源為Mysql,Mysql端會有一些產(chǎn)出數(shù)據(jù)可供校驗
如上數(shù)據(jù)流程下,如果在展現(xiàn)訂單數(shù)據(jù)量的情況下,Hive執(zhí)行查詢結(jié)果需要驗證,可以從Mysql渠道的數(shù)據(jù)結(jié)果進行對比來校驗。
舉的例子比較簡單,但是屬于校驗數(shù)據(jù)結(jié)果的一個思路和方法。
2、分量累加比較總量
表結(jié)構(gòu):
訂單ID 訂單日期 訂單渠道
1 20190808 A
2 20190808 A
3 20190808 B
4 20190808 B
5 20190807 C
5 20190807 C
5 20190807 C
5 20190807 C
5 20190807 C
查詢需求:查詢每天,每個渠道的訂單量
校驗方法:可對每天,每個渠道的訂單量進行累加,看看是否與當天總訂單量相同
3、分步驗證結(jié)果(A left join B left join C的情況)
有訂單表,商品表,用戶表
查詢需求:查詢電子產(chǎn)品,用戶年齡小于18歲的訂單明細
校驗方法:遇到這類查詢場景,首先用訂單表 Join 商品表,確定符合電子產(chǎn)品的訂單明細以及數(shù)據(jù)量,這歸結(jié)為第一步校驗;
在第一步校驗基礎(chǔ)上再關(guān)聯(lián)用戶表,篩選用戶年齡小于18歲的條件,進行第二部校驗。
另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務(wù)器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應(yīng)用場景需求。
分享題目:如何校驗SQL查詢結(jié)果是否準確-創(chuàng)新互聯(lián)
鏈接地址:http://fisionsoft.com.cn/article/dhohep.html