建站
咨詢
售后
建站咨詢
新聞中心
隨著數(shù)據(jù)化時代的到來，數(shù)據(jù)發(fā)展成為了重要的生產(chǎn)要素。數(shù)據(jù)庫作為數(shù)據(jù)的儲存和管理工具，已經(jīng)得到廣泛應用。然而，在開發(fā)過程中，數(shù)據(jù)庫開發(fā)也會遇到許多瓶頸和限制。本文將從數(shù)據(jù)庫開發(fā)的瓶頸及應對策略兩個方面展開討論，希望能給讀者提供一些啟示和借鑒。
成都創(chuàng)新互聯(lián)公司主要從事網(wǎng)站制作、成都網(wǎng)站制作、網(wǎng)頁設計、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務。立足成都服務和平,10年網(wǎng)站建設經(jīng)驗,價格優(yōu)惠、服務專業(yè),歡迎來電咨詢建站服務:18982081108
一、數(shù)據(jù)庫開發(fā)的瓶頸
1. 數(shù)據(jù)庫性能瓶頸
數(shù)據(jù)庫的性能是數(shù)據(jù)庫開發(fā)的關鍵指標之一。隨著應用場景的復雜化，數(shù)據(jù)量的增加，性能瓶頸成為了阻礙開發(fā)進展的重要因素。性能瓶頸可能來自于底層硬件，也可能來自于數(shù)據(jù)庫的架構、代碼等因素。
2. 數(shù)據(jù)安全瓶頸
隨著網(wǎng)絡攻擊和數(shù)據(jù)盜竊等事件頻發(fā)，數(shù)據(jù)安全問題成為了數(shù)據(jù)庫開發(fā)的另一重要難題。數(shù)據(jù)安全的瓶頸可能來自于用戶權限管理的不當，數(shù)據(jù)加密的不夠嚴格，存儲設備的安全性不足等多方面原因。
3. 編程和協(xié)作瓶頸
數(shù)據(jù)庫開發(fā)需要涉及多個領域的知識，不同實現(xiàn)者之間合作的協(xié)調(diào)、響應速度的提升，代碼的重用，缺乏正確的代碼規(guī)范，企業(yè)知識的庫存管理、流程的優(yōu)化、代碼監(jiān)管的短缺等因素都會造成編程和協(xié)作瓶頸。
二、解決數(shù)據(jù)庫開發(fā)的應對策略
1. 性能優(yōu)化策略
性能調(diào)優(yōu)是提升數(shù)據(jù)庫性能的重要手段。可以從以下幾個方面入手：
（1）SQL優(yōu)化：SQL語句的性能直接影響到整個數(shù)據(jù)庫的性能，因此SQL語句的優(yōu)化工作是必不可少的。常見的SQL優(yōu)化手段有索引優(yōu)化、表結(jié)構設計優(yōu)化和查詢設計優(yōu)化等。
（2）硬件優(yōu)化：硬件設備的升級、更換和配置可以優(yōu)化數(shù)據(jù)庫的性能。例如，提升CPU和內(nèi)存、使用RD等方式可以有效提升數(shù)據(jù)庫性能。
（3）應用優(yōu)化：應用程序的優(yōu)化也會對數(shù)據(jù)庫的性能產(chǎn)生影響。例如，將一些計算操作推遲到數(shù)據(jù)庫上進行，減少網(wǎng)絡傳輸數(shù)據(jù)量等方式可以提升數(shù)據(jù)庫性能。
2. 數(shù)據(jù)安全策略
保障數(shù)據(jù)庫的數(shù)據(jù)安全性是數(shù)據(jù)庫開發(fā)的必要條件。以下幾個措施可以提高數(shù)據(jù)庫的安全性：
（1）嚴格的用戶權限管理：對于不同的用戶應該分配不同的權限，避免敏感數(shù)據(jù)被未授權的用戶訪問。
（2）數(shù)據(jù)加密：對于重要的數(shù)據(jù)可以采取加密措施，以防止數(shù)據(jù)在傳輸或者存儲過程中被竊取。
（3）安全備份：重要的數(shù)據(jù)需要進行備份和恢復，保障數(shù)據(jù)安全。
3. 編程和協(xié)作的優(yōu)化策略
優(yōu)化編程和協(xié)作可以提高數(shù)據(jù)庫開發(fā)的效率，以下是幾種可以采用的策略：
（1）代碼規(guī)范：制定合理的代碼規(guī)范可以減少程序出錯的情況，并提高程序的可維護性。
（2）流程優(yōu)化：建立流程優(yōu)化可以將開發(fā)過程中的無效或重復工作減少，提高開發(fā)效率。
（3）知識庫存管理：知識共享和庫存管理可以幫助開發(fā)團隊有效沉淀知識和工作成果，避免重復的工作量和失誤。
結(jié)合實際開況，制定合理的策略和方案，對于解決數(shù)據(jù)庫開發(fā)的瓶頸有著非常大的幫助。
數(shù)據(jù)庫開發(fā)是一項綜合性的工作，需要技術人員從多個維度上去考慮和解決問題。針對不同情況，選擇合適的優(yōu)化策略能夠更有效地提升數(shù)據(jù)庫開發(fā)效率。同時，團隊的良好溝通和協(xié)作也是能夠優(yōu)化開發(fā)過程，避免出現(xiàn)技術上的瓶頸的重要保障。
相關問題拓展閱讀：
- 如何提高數(shù)據(jù)庫性能，減少數(shù)據(jù)庫服務器壓力瓶頸一兩個
- 數(shù)據(jù)庫架構選型與落地，看這篇就夠了
- 有哪些常見的數(shù)據(jù)庫優(yōu)化方法(數(shù)據(jù)庫如何優(yōu)化)
如何提高數(shù)據(jù)庫性能，減少數(shù)據(jù)庫服務器壓力瓶頸一兩個
如果是在本身配置上的原因（配置低，產(chǎn)品老化等），可以考慮坦敬增加配置，提高性能；如果是各種應用造讓慶慎成的資源浪費引起，那么可以對服務器做一些優(yōu)化，關掉一些不必須要的應用。服務器廠商也就那差兆么多個，比如國內(nèi)的正睿、浪潮、曙光、聯(lián)想等，國外的戴爾、惠普等
數(shù)據(jù)庫架構選型與落地，看這篇就夠了
隨著時間和業(yè)務的發(fā)展，數(shù)據(jù)庫中的數(shù)據(jù)量增長是不可控的，庫和表中的數(shù)據(jù)會越來越大，隨之帶來的是更高的
磁盤
、
IO
、
系統(tǒng)開銷
，甚至
性能
上的瓶頸，而單臺服務器的
資源終究是有限
的。
因此在面對業(yè)務擴張過程中，應用程序?qū)?shù)據(jù)庫系統(tǒng)的
健壯性
，
安全性
，
擴展性
提出了更高的要求。
以下，我從數(shù)據(jù)庫架構、選型與落地來讓大家入門。
數(shù)據(jù)庫會面臨什么樣的挑戰(zhàn)呢？
業(yè)務剛開始我們只用單機數(shù)據(jù)庫就夠了，但隨著業(yè)務增長，數(shù)據(jù)規(guī)模和用戶規(guī)模上升，這個時候數(shù)據(jù)庫會面臨IO瓶頸、存儲瓶頸、可用性、安全性問題。
為了解決上述的各種問題，數(shù)據(jù)庫衍生了出不同的架構來解決不同的場景需求。
將數(shù)據(jù)庫的寫操作和讀操作分離，主庫接收寫請求，使用多個從庫副本負責讀請求，從庫和主庫同步更新數(shù)據(jù)保持數(shù)據(jù)一致性，從庫可以水平擴展，用于面對讀請求的增加。
這個模式也就是常說的讀寫分離，針對的是小規(guī)模數(shù)據(jù)，而且存在大量讀操作的場景。
因為主從的數(shù)據(jù)是相同的，一旦主庫宕機的時候，從庫可以
切換為主庫提供寫入
，所以這個架構也可以提高數(shù)據(jù)庫系統(tǒng)的
安全性
和
可用性
；
優(yōu)點：
缺點：
在數(shù)據(jù)庫遇到
IO瓶頸
過程中，如果IO集中在某一塊的業(yè)務中，這個時候可以考慮的就是垂直分庫，將熱點業(yè)務拆分出去，避免由
熱點業(yè)務
的
密集IO請求
影響了其他正常業(yè)務，所以垂直分庫也叫
業(yè)務分庫
。
優(yōu)點：
缺點：
在數(shù)據(jù)庫遇到存儲瓶頸的時候，由于數(shù)據(jù)量過大造成索引性能下降。
這個時候可以考慮將數(shù)據(jù)做水平拆分，針對數(shù)據(jù)量巨大的單張表，按照某種規(guī)則，切分到多張表里面去。
但是這些表還是在同一個庫中，所以庫級別的數(shù)據(jù)庫操作還是有IO瓶頸（單個服務器的IO有上限）。
所以水平分嘩槐尺表主要還是針對
數(shù)據(jù)量較大
，整體業(yè)務
請求量較低
的場景。
優(yōu)點：
缺點：
四、分庫分表
在數(shù)據(jù)庫遇到存儲瓶頸和IO瓶頸的時候，數(shù)據(jù)量過大造成索引性能下降，加上同一時間需要處理大規(guī)模的業(yè)務請求，這個時候單庫的IO上限會限制處理效率。
所以需要將單張表的數(shù)據(jù)切分到多個服務器上去，每個服務器具有相應的庫與表，只是表中數(shù)據(jù)不同。
分庫分表能夠有效地緩解單機和單庫的
性能瓶頸和壓力
，突破IO、連接數(shù)、硬件資源等的瓶頸。
優(yōu)點：
缺點：
注：分庫還是分表核心關鍵是有沒有IO瓶頸
。
分片方式都有什么呢？
RANGE（范圍分片）
將業(yè)務表中的某個
關鍵字段排序
后，按照順序從0到10000一個表，10001到20230一個表。最常見的就是
按照時間切分
（月表、年表）。
比如將6個月前，甚至一年前的數(shù)據(jù)切出去放到另外的一張表，因為隨著時間流明睜逝，這些表的數(shù)據(jù)被查詢的概率變小，銀行的交易記錄多數(shù)是采用這種方式。
優(yōu)點：
缺點：
HASH（哈希分片）
將訂單作為主表，然后將其相關的業(yè)務表作為附表，取用戶id然后
hash取模
，分配到不同的數(shù)據(jù)表或者數(shù)據(jù)庫上。
優(yōu)點：
缺點：
講到這里，我們已經(jīng)知道數(shù)據(jù)庫有哪些架構，解決的是哪些問題，因此，
我們在日常設計中需要根據(jù)數(shù)據(jù)的特點，數(shù)據(jù)的傾向性，數(shù)據(jù)的安全性等來選擇不同的架構
。
那么，我們應該如何選擇數(shù)據(jù)庫架構呢？
雖然把上面的架構全部組合在一起可以形成一個強大的高可用，高負載的數(shù)據(jù)庫系統(tǒng)，但是架構選擇合適才是最重要的。
混合架構雖然能夠解決所有的場景的問題，但是也會面臨更多的挑戰(zhàn)，你以為的完美架構，背后其實有著更多的坑。
1、對事務支持
分庫分表后（無論是垂直還是水平拆分亂高），就成了分布式事務了，如果依賴數(shù)據(jù)庫本身的分布式事務管理功能去執(zhí)行事務，將付出高昂的性能代價（XA事務）；如果由應用程序去協(xié)助控制，形成程序邏輯上的事務，又會造成編程方面的負擔（TCC、SAGA）。
2、多庫結(jié)果并
（group by，order by）
由于數(shù)據(jù)分布于不同的數(shù)據(jù)庫中，無法直接對其做分頁、分組、排序等操作，一般應對這種多庫結(jié)果并的查詢業(yè)務都需要采用數(shù)據(jù)清洗、同步等其他手段處理（TIDB、KUDU等）。
3、數(shù)據(jù)延遲
主從架構下的多副本機制和水平分庫后的聚合庫都會存在主數(shù)據(jù)和副本數(shù)據(jù)之間的延遲問題。
4、跨庫join
分庫分表后表之間的關聯(lián)操作將受到限制，我們無法join位于不同分庫的表（垂直），也無法join分表粒度不同的表（水平）， 結(jié)果原本一次查詢就能夠完成的業(yè)務，可能需要多次查詢才能完成。
5、分片擴容
水平分片之后，一旦需要做擴容時。需要將對應的數(shù)據(jù)做一次遷移，成本代價都極高的。
6、ID生成
分庫分表后由于數(shù)據(jù)庫獨立，原有的基于數(shù)據(jù)庫自增ID將無法再使用，這個時候需要采用其他外部的ID生成方案。
一、應用層依賴類（JDBC）
這類分庫分表中間件的特點就是和應用強耦合，需要應用顯示依賴相應的jar包（以Java為例），比如知名的TDDL、當當開源的
sharding-jdbc
、蘑菇街的TSharding等。
此類中間件的基本思路就是重新實現(xiàn)JDBC的API，通過重新實現(xiàn)
DataSource
、
PrepareStatement
等操作數(shù)據(jù)庫的接口，讓應用層在
基本
不改變業(yè)務代碼的情況下透明地實現(xiàn)分庫分表的能力。
中間件給上層應用提供熟悉的JDBC API，內(nèi)部通過
sql解析
、
sql重寫
、
sql路由
等一系列的準備工作獲取真正可執(zhí)行的sql，然后底層再按照傳統(tǒng)的方法（比如數(shù)據(jù)庫連接池）獲取物理連接來執(zhí)行sql，最后把數(shù)據(jù)
結(jié)果合并
處理成ResultSet返回給應用層。
優(yōu)點
缺點
二、中間層代理類（Proxy）
這類分庫分表中間件的核心原理是在應用和數(shù)據(jù)庫的連接之間搭起一個
代理層
，上層應用以
標準的MySQL協(xié)議
來連接代理層，然后代理層負責
轉(zhuǎn)發(fā)請求
到底層的MySQL物理實例，這種方式對應用只有一個要求，就是只要用MySQL協(xié)議來通信即可。
所以用MySQL Navicat這種純的客戶端都可以直接連接你的分布式數(shù)據(jù)庫，自然也天然
支持所有的編程語言
。
在技術實現(xiàn)上除了和應用層依賴類中間件基本相似外，代理類的分庫分表產(chǎn)品必須實現(xiàn)標準的MySQL協(xié)議，某種意義上講數(shù)據(jù)庫代理層轉(zhuǎn)發(fā)的就是MySQL協(xié)議請求，就像Nginx轉(zhuǎn)發(fā)的是Http協(xié)議請求。
比較有代表性的產(chǎn)品有開創(chuàng)性質(zhì)的Amoeba、阿里開源的Cobar、社區(qū)發(fā)展比較好的
Mycat
（基于Cobar開發(fā)）等。
優(yōu)點
缺點
JDBC方案
：無中心化架構，兼容市面上大多數(shù)關系型數(shù)據(jù)庫，適用于開發(fā)高性能的輕量級 OLTP 應用（面向前臺）。
Proxy方案
：提供靜態(tài)入口以及異構語言的支持，適用于 OLAP 應用（面向后臺）以及對分片數(shù)據(jù)庫進行管理和運維的場景。
混合方案
：在大型復雜系統(tǒng)中存在面向C端用戶的前臺應用，也有面向企業(yè)分析的后臺應用，這個時候就可以采用混合模式。
JDBC 采用無中心化架構，適用于 Java 開發(fā)的高性能的輕量級 OLTP 應用；Proxy 提供靜態(tài)入口以及異構語言的支持，適用于 OLAP 應用以及對分片數(shù)據(jù)庫進行管理和運維的場景。
ShardingSphere是一套開源的分布式數(shù)據(jù)庫中間件解決方案組成的生態(tài)圈，它由
Sharding-JDBC
、
Sharding-Proxy
和
Sharding-Sidecar
（計劃中）這3款相互獨立的產(chǎn)品組成，他們均提供標準化的數(shù)據(jù)分片、分布式事務和數(shù)據(jù)庫治理功能，可適用于如Java同構、異構語言、容器、云原生等各種多樣化的應用場景。
ShardingSphere提供的核心功能：
Sharding-Proxy
定位為透明化的
數(shù)據(jù)庫代理端
，提供封裝了
數(shù)據(jù)庫二進制協(xié)議的服務端版本
，用于完成對
異構語言的支持
。
目前已提供MySQL版本，它可以使用
任何兼容MySQL協(xié)議的訪問客戶端
(如：MySQL Command Client, MySQL Workbench, Navicat等)操作數(shù)據(jù)，對DBA更加友好。
向
應用程序完全透明
，可直接當做MySQL使用。
適用于任何兼容MySQL協(xié)議的客戶端。
Sharding-JDBC
定位為
輕量級Java框架
，在Java的JDBC層提供的額外服務。 它使用客戶端直連數(shù)據(jù)庫，以jar包形式提供服務，無需額外部署和依賴，可理解為
增強版的JDBC驅(qū)動，完全兼容JDBC和各種ORM框架
。
以電商SaaS系統(tǒng)為例，前臺應用采用Sharding-JDBC，根據(jù)業(yè)務場景的差異主要分為三種方案。
分庫（用戶）
問題解析：頭部企業(yè)日活高并發(fā)高，單獨分庫避免干擾其他企業(yè)用戶，用戶數(shù)據(jù)的增長緩慢可以不分表。
拆分維度：企業(yè)ID分庫
拆分策略：頭部企業(yè)單獨庫、非頭部企業(yè)一個庫
分庫分表（訂單）
問題解析：訂單數(shù)據(jù)增長速度較快，在分庫之余需要分表。
拆分維度：企業(yè)ID分庫、用戶ID分表
拆分策略：頭部企業(yè)單獨庫、非頭部企業(yè)一個庫，分庫之后用戶ID取模拆分表
單庫分表（附件）
問題解析：附件數(shù)據(jù)特點是并發(fā)量不大，只需要解決數(shù)據(jù)增長問題，所以單庫IO足以支撐的情況下分表即可。
拆分維度：用戶ID分表
拆分策略：用戶ID取模分表
問題一：分布式事務
分布式事務過于復雜也是分布式系統(tǒng)最難處理的問題，由于篇幅有限，后續(xù)會開篇專講這一塊內(nèi)容。
問題二：分布式ID
問題三：跨片查詢
舉個例子，以用戶id分片之后，需要根據(jù)企業(yè)id查詢企業(yè)所有用戶信息。
sharding針對跨片查詢也是能夠支持的，本質(zhì)上sharding的跨片查詢是采用同時查詢多個分片的數(shù)據(jù)，然后聚合結(jié)果返回，這個方式對資源耗費比較大，特別是對數(shù)據(jù)庫連接資源的消耗。
假設分4個數(shù)據(jù)庫，8個表，則sharding會同時發(fā)出32個SQL去查詢。一下子消耗掉了32個連接；
特別是針對單庫分表的情況要注意，假設單庫分64個表，則要消耗64個連接。如果我們部署了2個節(jié)點，這個時候兩個節(jié)點同時查詢的話，就會遇到數(shù)據(jù)庫連接數(shù)上限問題（mysql默認100連接數(shù)）
問題四：分片擴容
隨著數(shù)據(jù)增長，每個片區(qū)的數(shù)據(jù)也會達到瓶頸，這個時候需要將原有的分片數(shù)量進行增加。由于增加了片區(qū)，原先的hash規(guī)則也跟著變化，造成了需要將舊數(shù)據(jù)做遷移。
假設原先1個億的數(shù)據(jù)，hash分64個表，現(xiàn)在增長到50億的數(shù)據(jù)，需要擴容到128個表，一旦擴容就需要將這50億的數(shù)據(jù)做一次遷移，遷移成本是無法想象的。
問題五：一致性哈希
首先，求出每個
服務器的hash值
，將其配置到一個
0~2^n 的圓環(huán)上
（n通常取32）
其次，用同樣的方法求出待
存儲對象的主鍵 hash值
，也將其配置到這個圓環(huán)上。
然后，從數(shù)據(jù)映射到的位置開始順時針查找，將數(shù)據(jù)分布到找到的之一個服務器節(jié)點上。
一致性hash的優(yōu)點在于加入和刪除節(jié)點時只會影響到在哈希環(huán)中相鄰的節(jié)點，而對其他節(jié)點沒有影響。
所以使用一致性哈希在集群擴容過程中可以減少數(shù)據(jù)的遷移。
好了，這次分享到這里，我們?nèi)粘５膶嵺`可能只會用到其中一種方案，但它不是數(shù)據(jù)庫架構的全貌，打開技術視野，才能更好地把存儲工具利用起來。
老規(guī)矩，一鍵三連，日入兩千，點贊在看，年薪百萬！
本文作者：Jensen
7年Java老兵，小米主題設計師，手機輸入法設計師，ProcessOn特邀講師。
曾涉獵航空、電信、IoT、垂直電商產(chǎn)品研發(fā)，現(xiàn)就職于某知名電商企業(yè)。
技術公眾號
【架構師修行錄】
號主，專注于分享日常架構、技術、職場干貨，Java Goals：架構師。
交個朋友，一起成長！
有哪些常見的數(shù)據(jù)庫優(yōu)化方法(數(shù)據(jù)庫如何優(yōu)化)
數(shù)據(jù)庫優(yōu)化的指導思路是首先寫出的SQL是優(yōu)化器喜歡的，然后在排除爛的SQL的情況下就是，找瓶頸，數(shù)據(jù)庫吞吐量上不去或者查詢慢都是因為某一瓶頸的存在，從非常大的粒度來看，瓶頸可以分為五類：io內(nèi)滑嘩存CPU網(wǎng)絡鎖。
當卡在某一瓶頸時，其他的薯森資源就會被閑置，解決瓶頸或者用非瓶頸的資源做tradeoff達到總和的更大才是優(yōu)化的正解，比如建索引就是以空間換時間的做法。
由于數(shù)據(jù)庫相對比較復雜，上下文有區(qū)別優(yōu)化思路也會不一樣，所以離開上下文談具體的優(yōu)化手段就是坑。
大部分開發(fā)人員會犯的錯誤是所數(shù)讓畝謂的“錘子人”，也就是自己是錘子看什么都像釘子，比如覺得慢就說要分區(qū)，覺得某種語句的寫法一定比另一種快而不考慮場景。
關于數(shù)據(jù)庫開發(fā)的瓶頸的介紹到此就結(jié)束了，不知道你從中找到你需要的信息了嗎 ？如果你還想了解更多這方面的信息，記得收藏關注本站。
香港服務器選創(chuàng)新互聯(lián)，2H2G首月10元開通。
創(chuàng)新互聯(lián)（www.cdcxhl.com）互聯(lián)網(wǎng)服務提供商,擁有超過10年的服務器租用、服務器托管、云服務器、虛擬主機、網(wǎng)站系統(tǒng)開發(fā)經(jīng)驗。專業(yè)提供云主機、虛擬主機、域名注冊、VPS主機、云服務器、香港云服務器、免備案服務器等。
本文標題：解析數(shù)據(jù)庫開發(fā)的瓶頸及應對策略(數(shù)據(jù)庫開發(fā)的瓶頸)
轉(zhuǎn)載注明：http://fisionsoft.com.cn/article/cojoeho.html
