建站
咨詢
售后
建站咨詢
新聞中心
什么是數(shù)據(jù)庫
數(shù)據(jù)庫是存放數(shù)據(jù)的倉庫。它的存儲空間很大，可以存放百萬條、千萬條、上億條數(shù)據(jù)。但是數(shù)據(jù)庫并不是隨意地將數(shù)據(jù)進行存放，是有一定的規(guī)則的，否則查詢的效率會很低。當(dāng)今世界是一個充滿著數(shù)據(jù)的互聯(lián)網(wǎng)世界，充斥著大量的數(shù)據(jù)。即這個互聯(lián)網(wǎng)世界就是數(shù)據(jù)世界。數(shù)據(jù)的來源有很多，比如出行記錄、消費記錄、瀏覽的網(wǎng)頁、發(fā)送的消息等等。除了文本類型的數(shù)據(jù)，圖像、音樂、聲音都是數(shù)據(jù)。
專注于為中小企業(yè)提供成都做網(wǎng)站、成都網(wǎng)站設(shè)計服務(wù),電腦端+手機端+微信端的三站合一,更高效的管理,為中小企業(yè)金堂縣免費做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動了上1000家企業(yè)的穩(wěn)健成長，幫助中小企業(yè)通過網(wǎng)站建設(shè)實現(xiàn)規(guī)模擴充和轉(zhuǎn)變。
數(shù)據(jù)庫是一個按數(shù)據(jù)結(jié)構(gòu)來存儲和管理數(shù)據(jù)的計算機軟件系統(tǒng)。數(shù)據(jù)庫的概念實際包括兩層意思：
（1）數(shù)據(jù)庫是一個實體，它是能夠合理保管數(shù)據(jù)的“倉庫”，用戶在該“倉庫”中存放要管理的事務(wù)數(shù)據(jù)，“數(shù)據(jù)”和“庫”兩個概念結(jié)合成為數(shù)據(jù)庫。
（2）數(shù)據(jù)庫是數(shù)據(jù)管理的新方法和技術(shù)，它能更合適的組織數(shù)據(jù)、更方便的維護數(shù)據(jù)、更嚴密的控制數(shù)據(jù)和更有效的利用數(shù)據(jù)。
發(fā)展現(xiàn)狀
在數(shù)據(jù)庫的發(fā)展歷史上，數(shù)據(jù)庫先后經(jīng)歷了層次數(shù)據(jù)庫、網(wǎng)狀數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫等各個階段的發(fā)展，數(shù)據(jù)庫技術(shù)在各個方面的快速的發(fā)展。特別是關(guān)系型數(shù)據(jù)庫已經(jīng)成為目前數(shù)據(jù)庫產(chǎn)品中最重要的一員，80年代以來， 幾乎所有的數(shù)據(jù)庫廠商新出的數(shù)據(jù)庫產(chǎn)品都支持關(guān)系型數(shù)據(jù)庫，即使一些非關(guān)系數(shù)據(jù)庫產(chǎn)品也幾乎都有支持關(guān)系數(shù)據(jù)庫的接口。這主要是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫可以比較好的解決管理和存儲關(guān)系型數(shù)據(jù)的問題。隨著云計算的發(fā)展和大數(shù)據(jù)時代的到來，關(guān)系型數(shù)據(jù)庫越來越無法滿足需要，這主要是由于越來越多的半關(guān)系型和非關(guān)系型數(shù)據(jù)需要用數(shù)據(jù)庫進行存儲管理，以此同時，分布式技術(shù)等新技術(shù)的出現(xiàn)也對數(shù)據(jù)庫的技術(shù)提出了新的要求，于是越來越多的非關(guān)系型數(shù)據(jù)庫就開始出現(xiàn)，這類數(shù)據(jù)庫與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在設(shè)計和數(shù)據(jù)結(jié)構(gòu)有了很大的不同， 它們更強調(diào)數(shù)據(jù)庫數(shù)據(jù)的高并發(fā)讀寫和存儲大數(shù)據(jù)，這類數(shù)據(jù)庫一般被稱為NoSQL（Not only SQL）數(shù)據(jù)庫。 而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在一些傳統(tǒng)領(lǐng)域依然保持了強大的生命力。
數(shù)據(jù)庫管理系統(tǒng)
編輯
數(shù)據(jù)庫管理系統(tǒng)是為管理數(shù)據(jù)庫而設(shè)計的電腦軟件系統(tǒng)，一般具有存儲、截取、安全保障、備份等基礎(chǔ)功能。數(shù)據(jù)庫管理系統(tǒng)可以依據(jù)它所支持的數(shù)據(jù)庫模型來作分類，例如關(guān)系式、XML；或依據(jù)所支持的計算機類型來作分類，例如服務(wù)器群集、移動電話；或依據(jù)所用查詢語言來作分類，例如SQL、XQuery；或依據(jù)性能沖量重點來作分類，例如最大規(guī)模、最高運行速度；亦或其他的分類方式。不論使用哪種分類方式，一些DBMS能夠跨類別，例如，同時支持多種查詢語言。
AWS開源可跨關(guān)聯(lián)式與NoSQL數(shù)據(jù)庫的查詢語言PartiQL
AWS推出了與SQL兼容的查詢語言PartiQL，只要數(shù)據(jù)庫查詢引擎提供PartiQL支持，使用者就能以PartiQL單一查詢關(guān)聯(lián)式數(shù)據(jù)庫的結(jié)構(gòu)化資料，以及開放資料格式中的巢狀資料或是半結(jié)構(gòu)化資料，甚至還能用來查詢NoSQL或是文件數(shù)據(jù)庫中無固定結(jié)構(gòu)（Schema-less）的資料。除了AWS自家的數(shù)據(jù)庫服務(wù)，NoSQL數(shù)據(jù)庫Couchbase Server也承諾將會支持PartiQL。
企業(yè)資料分散在關(guān)聯(lián)式數(shù)據(jù)庫、非關(guān)聯(lián)式數(shù)據(jù)庫以及資料湖泊中。高度結(jié)構(gòu)化的資料，儲存在SQL數(shù)據(jù)庫或是資料倉儲；無固定結(jié)構(gòu)的資料則由鍵值儲存、圖形數(shù)據(jù)庫（Graph Database）、分類帳數(shù)據(jù)庫或是時間序列數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫處理；而在資料湖泊中的資料，可能也有部分缺乏結(jié)構(gòu)，或是可能為巢狀或是多值結(jié)構(gòu)。不同的資料類型適用于不同的使用案例，而每種類型的資料，可能都有自己的查詢語言。
不同的資料儲存對應(yīng)不同的查詢語言，當(dāng)企業(yè)更換資料格式或是數(shù)據(jù)庫引擎時，可能還需要跟著改變應(yīng)用程式和查詢語法，AWS提到，這對于資料的應(yīng)用，特別是使用資料湖泊的靈活性與效率，有著很大的阻礙。為了統(tǒng)一不同類型數(shù)據(jù)庫存取方法，AWS發(fā)布了查詢語言PartiQL，這是個與SQL兼容的查詢語言，可以用來查詢以各種格式儲存在各地的資料。
用戶可以使用PartiQL來查詢關(guān)聯(lián)式數(shù)據(jù)庫，像是在Redshift實作交易或是資料分析等應(yīng)用，或?qū)τ贏mazon S3資料湖泊的開放資料格式，同樣能使用PartiQL對巢狀資料與半結(jié)構(gòu)化資料例如Amazon Ion格式進行查詢，另外，PartiQL也可用于文件數(shù)據(jù)庫等NoSQL數(shù)據(jù)庫，查詢無固定結(jié)構(gòu)的資料。
AWS表示，PartiQL的出現(xiàn)，是為了滿足自家查詢和轉(zhuǎn)換大量資料的需求，其提供嚴格的SQL兼容性，可與標(biāo)準(zhǔn)SQL混合使用，執(zhí)行連接（Join）、過濾（Filtering）與聚合（Aggregation）操作，并以最小擴充支持巢狀和半結(jié)構(gòu)化資料，讓開發(fā)者以簡單且一致的方法，不需要更改查詢語言，就能查詢各種格式和服務(wù)的資料。
PartiQL具格式獨立性與儲存獨立性，PartiQL語法和語義不依賴任何資料格式，無論使用者是要查詢JSON、Parquet、ORC、CSV還是Ion等格式，查詢語句的寫法都相同，PartiQL的查詢在綜合邏輯類型系統(tǒng)上運作，才對應(yīng)到不同底層的格式。而PartiQL也不相依于特定資料儲存，因此適用于不同的底層資料儲存。
雖然過去針對跨不同類型數(shù)據(jù)庫查詢的問題，已有不少解決方案，AWS指出，像是Postgres JSON同樣也兼容于SQL，但是卻無法良好地處理JSON巢狀資料；而半結(jié)構(gòu)化查詢語言，雖然能良好處理巢狀資料，但卻無法與SQL語言兼容。AWS提到，PartiQL是第一個能夠完全解決這些問題的查詢語言。
目前AWS已在自家多項服務(wù)支持PartiQL，包括Amazon S3 Select、Amazon Glacier Select、Amazon Redshift Spectrum、Amazon QLDB，接下來幾個月將會有更多的AWS服務(wù)支持PartiQL，Couchbase也公布將加入支持PartiQL的行列?，F(xiàn)在PartiQL以Apache2.0授權(quán)許可開源，公開教學(xué)、規(guī)范以及參考實作，所有社群都能使用并參與貢獻。
請問數(shù)據(jù)倉庫都用什么建立？
1、首先你得搞清楚建設(shè)數(shù)倉的目的是什么
是偏向于整合各系統(tǒng)數(shù)據(jù)，為數(shù)據(jù)分析決策服務(wù)，還是偏向于快速的完成分析決策需求？
如果是前者，那么在數(shù)據(jù)倉庫建模的時候一般會選擇ER建模方法；
如果是后者，一般會選擇維度建模方法。
ER建模：即實體關(guān)系建模，由數(shù)據(jù)倉庫之父BIll Inmon提出，核心思想是從全企業(yè)的高度去設(shè)計三范式模型，用實體關(guān)系描述企業(yè)服務(wù)。主張的是自上而下的架構(gòu)，將不同的OLTP數(shù)據(jù)集中到面向主題的數(shù)據(jù)倉庫中。
維度建模：由Kimball提出，核心思想是從分析決策的需求出發(fā)構(gòu)建模型。這種模型由事實表和維表組成，即星型模型和雪花模型。Kimball倡導(dǎo)自下而上的架構(gòu)，可以針對獨立部門建立數(shù)據(jù)集市，再遞增的構(gòu)建，匯總成數(shù)據(jù)倉庫。
2、其次你得進行深入的業(yè)務(wù)調(diào)研和數(shù)據(jù)調(diào)研
業(yè)務(wù)調(diào)研：深入的業(yè)務(wù)調(diào)研能使你更加明確數(shù)倉建設(shè)的目的；同時也利于后續(xù)的建模設(shè)計，隨著調(diào)研的開展，如何將實體業(yè)務(wù)抽象為數(shù)倉模型會更加明朗。
數(shù)據(jù)調(diào)研：各部門或各科室的數(shù)據(jù)現(xiàn)狀了解，包括數(shù)據(jù)分類、數(shù)據(jù)存儲方式、數(shù)據(jù)量、具體的數(shù)據(jù)內(nèi)容等等。這對后續(xù)的主數(shù)據(jù)串聯(lián)或者維度一致性處理等等都是必須的基礎(chǔ)。
3、然后是數(shù)據(jù)倉庫工具選型
傳統(tǒng)型數(shù)據(jù)倉庫：一般會選擇第三方廠家的數(shù)據(jù)庫和配套ETL工具。因為有第三方支持，相對有保障；但缺點也很明顯，受約束以及成本較高。
NoSQL型數(shù)據(jù)倉庫：一般是基于hadoop生態(tài)的數(shù)據(jù)倉庫。hadoop生態(tài)已經(jīng)非常強大，可以找到各種開源組件去支持數(shù)據(jù)倉庫。缺點是需要招聘專門人士去摸索，并且相對會存在一些未知隱患。
4、最后是設(shè)計與實施
設(shè)計：包括數(shù)據(jù)架構(gòu)中的數(shù)據(jù)層次劃分以及具體的模型設(shè)計；也包括程序架構(gòu)中的數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、調(diào)度管理等；
實施：規(guī)范化的項目管理實施，但同時也需記住一點，數(shù)據(jù)倉庫不是一個項目，它是一個過程。
數(shù)據(jù)庫與數(shù)據(jù)倉庫的本質(zhì)區(qū)別是什么?
1、存放值區(qū)別：
數(shù)據(jù)庫只存放在當(dāng)前值，數(shù)據(jù)倉庫存放歷史值；
2、數(shù)據(jù)變化區(qū)別：
數(shù)據(jù)庫內(nèi)數(shù)據(jù)是動態(tài)變化的，只要有業(yè)務(wù)發(fā)生，數(shù)據(jù)就會被更新，而數(shù)據(jù)倉庫則是靜態(tài)的歷史數(shù)據(jù)，只能定期添加、刷新；
3、數(shù)據(jù)結(jié)構(gòu)區(qū)別：
數(shù)據(jù)庫中的數(shù)據(jù)結(jié)構(gòu)比較復(fù)雜，有各種結(jié)構(gòu)以適合業(yè)務(wù)處理系統(tǒng)的需要，而數(shù)據(jù)倉庫中的數(shù)據(jù)結(jié)構(gòu)則相對簡單；
4、訪問頻率不同：
數(shù)據(jù)庫中數(shù)據(jù)訪問頻率較高，但訪問量較少，而數(shù)據(jù)倉庫的訪問頻率低但訪問量卻很高；
5、目標(biāo)人群區(qū)別：
數(shù)據(jù)庫中數(shù)據(jù)的目標(biāo)是面向業(yè)務(wù)處理人員的，為業(yè)務(wù)處理人員提供信息處理的支持，而數(shù)據(jù)倉庫則是面向高層管理人員的，為其提供決策支持；
為什么要建立數(shù)據(jù)倉庫
數(shù)據(jù)倉庫是為了滿足分析需要，對源數(shù)據(jù)進行了Transform過程，具體是怎樣一個處理過程，可以從Bill Inmon的倉庫定義四個特性進行理解。）數(shù)據(jù)倉庫系統(tǒng)（用數(shù)據(jù)庫裝東西）與其他基礎(chǔ)業(yè)務(wù)系統(tǒng)（例如財務(wù)系統(tǒng)、銷售系統(tǒng)、人力資源系統(tǒng)等，也是用數(shù)據(jù)庫裝東西）的區(qū)別是： 基礎(chǔ)業(yè)務(wù)系統(tǒng)的特點是各管各的，例如財務(wù)系統(tǒng)生產(chǎn)了白菜，那么用一個數(shù)據(jù)庫來裝，人力資源系統(tǒng)生產(chǎn)了豬肉，再用一個數(shù)據(jù)庫來裝。我要做一道菜，需要分別到各個數(shù)據(jù)庫去取，比較麻煩（現(xiàn)實的情況是大部分時候讓種菜的農(nóng)民伯伯送過來，但送過來的東西不一定是我想要的，而且不同的時候我想要不同的東西，經(jīng)常會被農(nóng)民伯伯罵，弄得雙方都不開心）。另外一方面，各個數(shù)據(jù)庫中放的是一些比較原始的東西，我要拿過來做菜，還需要經(jīng)過很麻煩的清洗過程，一不小心里面可能就藏著一條大青蟲。那么，數(shù)據(jù)倉庫系統(tǒng)就是建立一個大的超市，將各地農(nóng)民伯伯出產(chǎn)的東西收集過來，清洗干凈，分門別類地放好。這樣，你要哪種菜的時候，直接從超市里面拿就可以了。
數(shù)據(jù)倉庫的特點是：
(1)數(shù)據(jù)倉庫是面向主題的.
(2)數(shù)據(jù)倉庫是集成的
(3)數(shù)據(jù)倉庫具有時間相關(guān)性.
(4)數(shù)據(jù)倉庫的數(shù)據(jù)是相對穩(wěn)定的.
數(shù)據(jù)倉庫Hive
一個公司里面不同項目可能用到不同的數(shù)據(jù)源，有的存在MySQL里面，又的存在MongoDB里面，甚至還有些要做第三方數(shù)據(jù)。
但是現(xiàn)在又想把數(shù)據(jù)整合起來，進行 數(shù)據(jù)分析 。此時數(shù)據(jù)倉庫(Data Warehouse，DW)就派上用場了。它可以對多種業(yè)務(wù)數(shù)據(jù)進行篩選和整合，可以用于數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)報表。
總的來說，數(shù)據(jù)倉庫是將多個數(shù)據(jù)源的數(shù)據(jù)按照一定的 主題 集成起來，因為之前的數(shù)據(jù)各不相同，所以需要 抽取、清洗、轉(zhuǎn)換 。
整合以后的數(shù)據(jù)不允許隨便修改，只能分析，還需要定期更新。
上面我們說過，數(shù)據(jù)倉庫接收的數(shù)據(jù)源是不同的，要做集成的話，需要 抽取、清洗、轉(zhuǎn)換 三個步驟，這就是 ETL (Extract-Transform-Load)
國內(nèi)最常用的是一款基于Hadoop的開源數(shù)據(jù)倉庫，名為 Hive ，它可以對存儲在 HDFS 的文件數(shù)據(jù)進行 查詢、分析 。
Hive對外可以提供HiveQL，這是類似于SQL語言的一種查詢語言。在查詢時可以將HiveQL語句轉(zhuǎn)換為 MapReduce 任務(wù)，在Hadoop層進行執(zhí)行。
Hive的最大優(yōu)勢在于 免費 ，那其他知名的商業(yè)數(shù)據(jù)倉庫有那些呢？比如Oracle,DB2，其中業(yè)界老大是 Teradata
Teradata數(shù)據(jù)倉庫支持大規(guī)模并行處理平臺(MPP)，可以高速處理海量實際上，性能遠遠高于Hive。對企業(yè)來說，只需要專注于業(yè)務(wù)，節(jié)省管理技術(shù)方面的精力，實現(xiàn)ROI（投資回報率）最大化。
上面提到了Hive是最著名的開源數(shù)據(jù)倉庫，它是Hadoop生態(tài)中一個重要的組件。
Hadoop的生態(tài)中，HDFS解決了分布式存儲的問題，MapReduce解決了分布式計算的問題，而HBASE則提供了一種NoSQL的存儲方法。
但是如果需要的HDFS上的文件或者HBASE的表進行查詢，需要自定義MapReduce方法。那么Hive其實就是在HDFS上面的一個中間層，它可以讓業(yè)務(wù)人員直接使用SQL進行查詢。
所以Hive是用進行數(shù)據(jù)提取轉(zhuǎn)換加載的，而且它可以把SQL轉(zhuǎn)換為MapReduce任務(wù)，而Hive的表就是HDFS的目錄或者文件。
上圖為Hive的體系結(jié)構(gòu)
Hive主要包含以下幾種數(shù)據(jù)模型：
本文為 什么是數(shù)據(jù)倉庫？ 的筆記
本文標(biāo)題：nosql數(shù)據(jù)倉儲,nosql是分布式數(shù)據(jù)庫嗎
網(wǎng)址分享：http://fisionsoft.com.cn/article/hcdjgh.html
