建站
咨詢
售后
建站咨詢
新聞中心
數(shù)據(jù)庫是現(xiàn)代軟件系統(tǒng)中至關(guān)重要的一環(huán)。在大多數(shù)現(xiàn)代應(yīng)用程序中，幾乎每個子系統(tǒng)都與數(shù)據(jù)庫交互，提供數(shù)據(jù)存儲和處理的核心服務(wù)。在這種情況下，數(shù)據(jù)庫的穩(wěn)定性和可靠性非常關(guān)鍵。如果數(shù)據(jù)庫遇到阻塞，應(yīng)用程序?qū)罎?，從而?dǎo)致系統(tǒng)停機(jī)和數(shù)據(jù)丟失。這對于任何企業(yè)來說都是一場災(zāi)難，因此解決阻塞問題非常重要。
為了避免阻塞，我們需要理解發(fā)生阻塞的原因以及如何加以預(yù)防和解決。
數(shù)據(jù)庫中的阻塞是指在一個事務(wù)中發(fā)生了某些阻塞操作，而另一個事務(wù)無法運(yùn)行的情況。例如，如果一個事務(wù)在讀取一個表的某些數(shù)據(jù)，而另一個事務(wù)試圖修改該表，則修改事務(wù)將被阻塞，直到讀取事務(wù)完成。
在理想情況下，數(shù)據(jù)庫應(yīng)該是無阻塞的。但在現(xiàn)實(shí)中，很難避免阻塞的發(fā)生?？上У氖?，一旦阻塞出現(xiàn)，它通常會導(dǎo)致嚴(yán)重的后果。
以下是一些處理高訪問量數(shù)據(jù)庫阻塞的實(shí)用技巧：
1. 使用合適的索引
索引是優(yōu)化數(shù)據(jù)庫查詢的關(guān)鍵組成部分。如果您的數(shù)據(jù)庫中沒有合適的索引，查詢可能需要花費(fèi)很長時間。索引可以在查詢過程中快速定位數(shù)據(jù)，這樣查詢就會更快，更有效。
2. 分布式架構(gòu)
分布式架構(gòu)是防止高訪問量數(shù)據(jù)庫阻塞的一種解決方案。在分布式架構(gòu)中，數(shù)據(jù)存儲在多個節(jié)點(diǎn)上，并且每個節(jié)點(diǎn)都可以獨(dú)立地處理查詢。這使得每個節(jié)點(diǎn)都可以處理自己的負(fù)載，從而減少阻塞發(fā)生的可能性。
3. 定期維護(hù)
定期維護(hù)數(shù)據(jù)庫是非常重要的。定期維護(hù)包括數(shù)據(jù)庫備份、重建索引、清理垃圾數(shù)據(jù)等操作。這些操作可以保持?jǐn)?shù)據(jù)庫的良好狀態(tài)，并減少阻塞發(fā)生的可能性。
4. 避免長時間事務(wù)
長時間事務(wù)是一種阻塞高發(fā)事件。這種情況下，一個事務(wù)會持有某個數(shù)據(jù)庫資源，而另一個事務(wù)將無法訪問該資源，反之亦然。為了避免這種情況的發(fā)生，開發(fā)人員應(yīng)該盡量避免設(shè)計(jì)長時間事務(wù)。
5. 資源限制
為了避免阻塞，也可以使用資源限制工具。例如，內(nèi)存限制可以防止一個事務(wù)占用大量內(nèi)存，而長時間持有該內(nèi)存。同樣地，CPU限制可以防止一個事務(wù)使用全部CPU資源，使其他事務(wù)無法運(yùn)行。
阻塞是數(shù)據(jù)庫中比較常見的問題。為了避免阻塞，數(shù)據(jù)庫應(yīng)該使用合適的索引、分布式架構(gòu)、定期維護(hù)、避免長時間事務(wù)和資源限制等技術(shù)。在阻塞的發(fā)生時，我們需要對其進(jìn)行分析和解決，以免出現(xiàn)更大的問題。不能夠忽略的是，定期升級數(shù)據(jù)庫及其相關(guān)組件，及時將數(shù)據(jù)庫和操作系統(tǒng)的安全補(bǔ)丁打上，以保障數(shù)據(jù)庫的安全性。
成都網(wǎng)站建設(shè)公司-創(chuàng)新互聯(lián),建站經(jīng)驗(yàn)豐富以策略為先導(dǎo)10多年以來專注數(shù)字化網(wǎng)站建設(shè),提供企業(yè)網(wǎng)站建設(shè),高端網(wǎng)站設(shè)計(jì),響應(yīng)式網(wǎng)站制作,設(shè)計(jì)師量身打造品牌風(fēng)格,熱線:028-86922220如何解決數(shù)據(jù)庫數(shù)據(jù)量大的問題
解決數(shù)據(jù)庫數(shù)據(jù)量大的問題,分庫或者分表都是辦法之一。
分庫：編程會復(fù)雜一些；但是適合更大缺乎量的伏讓悉數(shù)據(jù)庫數(shù)據(jù)量。
分表：數(shù)據(jù)文件可能還是滑凳偏大。
網(wǎng)站訪問量大 怎樣優(yōu)化mysql數(shù)據(jù)庫
I硬件配置優(yōu)化
CPU選擇：多核的CPU，主頻高的CPU
內(nèi)存：更大的內(nèi)存
磁盤選擇：更快的轉(zhuǎn)速、RAID、陣列卡，
網(wǎng)絡(luò)環(huán)境選擇：盡量部署在局域網(wǎng)、SCI、光纜、千兆網(wǎng)、雙網(wǎng)線和數(shù)提供冗余、0.0.0.0多端口綁定監(jiān)聽
II操作系統(tǒng)級優(yōu)化
使用64位的操作系統(tǒng)，更好的使用大內(nèi)存擾棚燃。
設(shè)置noatime,nodiratime
$ cat /etc/fstab
LABEL=//ext3 defaults,noatime,nodiratime
/dev/sda/dataxfs defaults,noatime,nodiratime
優(yōu)化內(nèi)核參數(shù)
net.ipv4.tcp_keepalive_time=7200
net.ipv4.tcp_max_syn_backlog=1024
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.neigh.default.gc_thresh3 = 2023
net.ipv4.neigh.default.gc_thresh2 = 1024
net.ipv4.neigh.default.gc_thresh1 = 256
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.forwarding = 1
net.ipv4.conf.default.proxy_arp = 0
net.ipv4.tcp_syncookies = 1
net.core.netdev_max_backlog = 2023
net.core.dev_weight = 64
net.ipv4.tcp_rmem =777216
net.ipv4.tcp_wmem =777216
net.ipv4.tcp_rfc1337 = 1
net.ipv4.tcp_sack = 0
net.ipv4.tcp_fin_timeout = 20
net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_max_orphans = 32768
net.core.optmem_max = 20230
net.core.rmem_default =
net.core.rmem_max =
net.core.wmem_default =
net.core.wmem_max =
net.core.somaxconn = 500
net.ipv4.tcp_orphan_retries = 1
net.ipv4.tcp_max_tw_buckets = 18000
net.ipv4.ip_forward = 0
net.ipv4.conf.default.proxy_arp = 0
net.ipv4.conf.all.rp_filter = 1
kernel.sysrq = 1
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.ip_local_port_range =
kernel.shmmax =
vm.swappiness=0
加大文件描述符限制
Vim /etc/security/limits.conf
加上
*soft nofile
*hard nofile
文件系統(tǒng)選擇 xfs
/dev/sda/dataxfs defaults,noatime,nodiratime
III Mysql設(shè)計(jì)優(yōu)化
III.1存儲引擎的選擇
Myisam：數(shù)據(jù)庫并發(fā)不大，讀多寫少,而且都能很好的用緩虛到索引，sql語句比較簡單的應(yīng)用，TB數(shù)據(jù)倉庫
Innodb：并發(fā)訪問大，寫操作比較多，有外鍵、事務(wù)等需求的應(yīng)用，系統(tǒng)內(nèi)存較大。
III.2命名規(guī)則
多數(shù)開發(fā)語言命名規(guī)則：比如MyAdress
多數(shù)開源思想命名規(guī)則：my_address
避免隨便命名
III.3字段類型選擇
字段類型的選擇的一般原則：
根據(jù)需求選擇合適的字段類型，在滿足需求的情況下字段類型盡可能小。
只分配滿足需求的最小字符數(shù)，不要太慷慨。
原因：更小的字段類型更小的字符數(shù)占用更少的內(nèi)存，占用更少的磁盤空間，占用更少的磁盤IO，以及占用更少的帶寬。
III.3.1 整型：
見如下圖:
類型
字節(jié)
最小值
更大值
(帶符號的/無符號的)
(帶符號的/無符號的)
TINYINT
-128
127
255
ALLINT
-32768
32767
65535
MEDIUMINT
INT
BIGINT
775808
75807
551615
根據(jù)滿足需求的最小整數(shù)為選擇原則，能用INT的就不要用BIGINT。
用無符號INT存儲IP，而非CHAR(15)。
III.3.2 浮點(diǎn)型：
類型
字節(jié)
精度類型
使用場景
FLOAT(M,D)
單精度
精度要求不高，數(shù)值比較小
DOUBLE(M,D)（REAL）
雙精度
精度要求不高，數(shù)值比較大
DECIMAL(M,D)(NUMERIC）
M+2
自定義精度
精度要求很高的場景
III.3.3 時間類型
類型
取值范圍
存儲空間
零值表示法
DATE
~
3字節(jié)
TIME
-838:59:59~838:59:59
3字節(jié)
00:00:00
DATETIME
:00:00~:59:59
8字節(jié)
:00:00
TIMESTAMP
~2023年的某個時刻
4字節(jié)
YEAR
YEAR(4):1901~2155 YEAR(2)：1970~2023
1字節(jié)
0000
III.3.4 字符類型
類型
更大長度
占用存儲空間
CHAR
M字節(jié)
M字節(jié)
VARCHAR
M字節(jié)
M+1字節(jié)
TINYBLOD，TINYTEXT
2^8-1字節(jié)
L+1字節(jié)
BLOB，TEXT
2^16-1字節(jié)
L+2
MEDIUMBLOB，MEDIUMTEXT
2^24-1字節(jié)
L+3
LONGBLOB，LONGTEXT
2^32-1字節(jié)
L+4
ENUM(‘value1′,’value2’,…)
65535個成員
1或2字節(jié)
SET(‘value1′,’value2’,…)
64個成員
1,2,3,4或8字節(jié)
注：L表示可變長度的意思
對于varchar和char的選擇要根據(jù)引擎和具體情況的不同來選擇，主要依據(jù)如下原則:
1. 如果列數(shù)據(jù)項(xiàng)的大小一致或者相差不大，則使用char。
2. 如果列數(shù)據(jù)項(xiàng)的大小差異相當(dāng)大，則使用varchar。
3. 對于MyISAM表，盡量使用Char，對于那些經(jīng)常需要修改而容易形成碎片的myisam和isam數(shù)據(jù)表就更是如此，它的缺點(diǎn)就是占用磁盤空間。
4. 對于InnoDB表，因?yàn)樗臄?shù)據(jù)行內(nèi)部存儲格式對固定長度的數(shù)據(jù)行和可變長度的數(shù)據(jù)行不加區(qū)分（所有數(shù)據(jù)行共用一個表頭部分，這個標(biāo)頭部分存放著指向各有關(guān)數(shù)據(jù)列的指針），所以使用char類型不見得會比使用varchar類型好。事實(shí)上，因?yàn)閏har類型通常要比varchar類型占用更多的空 間，所以從減少空間占用量和減少磁盤i/o的角度，使用varchar類型反而更有利。
5.表中只要存在一個varchar類型的字段，那么所有的char字段都會自動變成varchar類型，因此建議定長和變長的數(shù)據(jù)分開。
III.4編碼選擇
單字節(jié) latin1
多字節(jié) utf8(漢字占3個字節(jié)，英文字母占用一個字節(jié))
如果含有中文字符的話更好都統(tǒng)一采用utf8類型，避免亂碼的情況發(fā)生。
III.5主鍵選擇原則
注：這里說的主鍵設(shè)計(jì)主要是針對INNODB引擎
1. 能唯一的表示行。
2. 顯式的定義一個數(shù)值類型自增字段的主鍵，這個字段可以僅用于做主鍵，不做其他用途。
3. MySQL主鍵應(yīng)該是單列的，以便提高連接和篩選操作的效率。
4. 主鍵字段類型盡可能小，能用ALLINT就不用INT，能用INT就不用BIGINT。
5. 盡量保證不對主鍵字段進(jìn)行更新修改，防止主鍵字段發(fā)生變化，引發(fā)數(shù)據(jù)存儲碎片，降低IO性能。
6. MySQL主鍵不應(yīng)包含動態(tài)變化的數(shù)據(jù)，如時間戳、創(chuàng)建時間列、修改時間列等。
7. MySQL主鍵應(yīng)當(dāng)有計(jì)算機(jī)自動生成。
8. 主鍵字段放在數(shù)據(jù)表的之一順序。
推薦采用數(shù)值類型做主鍵并采用auto_increment屬性讓其自動增長。
III.6其他需要注意的地方
NULL OR NOT NULL
盡可能設(shè)置每個字段為NOT NULL，除非有特殊的需求，原因如下：
1. 使用含有NULL列做索引的話會占用更多的磁盤空間，因?yàn)樗饕齆ULL列需要而外的空間來保存。
2. 進(jìn)行比較的時候，程序會更復(fù)雜。
3. 含有NULL的列比較特殊，SQL難優(yōu)化，如果是一個組合索引，那么這個NULL 類型的字段會極大影響整個索引的效率。
索引
索引的缺點(diǎn)：極大地加速了查詢，減少掃描和鎖定的數(shù)據(jù)行數(shù)。
索引的缺點(diǎn)：占用磁盤空間，減慢了數(shù)據(jù)更新速度，增加了磁盤IO。
添加索引有如下原則：
1. 選擇唯一性索引。
2. 為經(jīng)常需要排序、分組和聯(lián)合操作的字段建立索引。
3. 為常作為查詢條件的字段建立索引。
4. 限制索引的數(shù)據(jù)，索引不是越多越好。
5. 盡量使用數(shù)據(jù)量少的索引，對于大字段可以考慮前綴索引。
6. 刪除不再使用或者很少使用的索引。
7. 結(jié)合核心SQL優(yōu)先考慮覆蓋索引。
8. 忌用字符串做主鍵。
反范式設(shè)計(jì)
適當(dāng)?shù)氖褂萌哂嗟姆捶妒皆O(shè)計(jì)，以空間換時間有的時候會很高效。
IV Mysql軟件優(yōu)化
開啟mysql復(fù)制，實(shí)現(xiàn)讀寫分離、負(fù)載均衡，將讀的負(fù)載分?jǐn)偟蕉鄠€從服務(wù)器上，提高服務(wù)器的處理能力。
使用推薦的GA版本，提升性能
利用分區(qū)新功能進(jìn)行大數(shù)據(jù)的數(shù)據(jù)拆分
VMysql配置優(yōu)化
注意：全局參數(shù)一經(jīng)設(shè)置，隨服務(wù)器啟動預(yù)占用資源。
key_buffer_size參數(shù)
mysql索引緩沖，如果是采用myisam的話要重點(diǎn)設(shè)置這個參數(shù)，根據(jù)（key_reads/key_read_requests）判斷
innodb_buffer_pool_size參數(shù)
INNODB 數(shù)據(jù)、索引、日志緩沖最重要的引擎參數(shù)，根據(jù)（hit riatos和FILE I/O）判斷
wait_time_out參數(shù)
線程連接的超時時間，盡量不要設(shè)置很大，推薦10s
max_connections參數(shù)
服務(wù)器允許的更大連接數(shù)，盡量不要設(shè)置太大，因?yàn)樵O(shè)置太大的話容易導(dǎo)致內(nèi)存溢出，需要通過如下公式來確定：
SET @k_bytes = 1024;
SET @m_bytes = @k_bytes * 1024;
SET @g_bytes = @m_bytes * 1024;
SELECT
(
@@key_buffer_size + @@query_cache_size + @@tmp_table_size+
@@innodb_buffer_pool_size + @@innodb_additional_mem_pool_size+
@@innodb_log_buffer_size+
@@max_connections *
( @@read_buffer_size + @@read_rnd_buffer_size + @@sort_buffer_size+
@@join_buffer_size + @@binlog_cache_size + @@thread_stack
) )
/ @g_bytes AS MAX_MEMORY_USED_GB;
thread_concurrency參數(shù)
線程并發(fā)利用數(shù)量，(cpu+disk)*2,根據(jù)(os中顯示的請求隊(duì)列和tickets)判斷
sort_buffer_size參數(shù)
獲得更快的–ORDER BY,GROUP BY,SELECT DISTINCT,UNION DISTINCT
read_rnd_buffer_size參數(shù)
當(dāng)根據(jù)鍵進(jìn)行分類操作時獲得更快的–ORDER BY
join_buffer_size參數(shù)
join連接使用全表掃描連接的緩沖大小，根據(jù)select_full_join判斷
read_buffer_size參數(shù)
全表掃描時為查詢預(yù)留的緩沖大小，根據(jù)select_scan判斷
tmp_table_size參數(shù)
臨時內(nèi)存表的設(shè)置，如果超過設(shè)置就會轉(zhuǎn)化成磁盤表，根據(jù)參數(shù)(created_tmp_disk_tables)判斷
innodb_log_file_size參數(shù)(默認(rèn)5M)
記錄INNODB引擎的redo log文件，設(shè)置較大的值意味著較長的恢復(fù)時間。
? innodb_flush_method參數(shù)(默認(rèn)fdatasync)
Linux系統(tǒng)可以使用O_DIRECT處理數(shù)據(jù)文件，避免OS級別的cache，O_DIRECT模式提高數(shù)據(jù)文件和日志文件的IO提交性能
innodb_flush_log_at_trx_commit(默認(rèn)1)
表示每秒進(jìn)行一次log寫入cache，并flush log到磁盤。
表示在每次事務(wù)提交后執(zhí)行l(wèi)og寫入cache，并flush log到磁盤。
表示在每次事務(wù)提交后，執(zhí)行l(wèi)og數(shù)據(jù)寫入到cache，每秒執(zhí)行一次flush log到磁盤。
VI Mysql語句級優(yōu)化
1. 性能查的讀語句，在innodb中統(tǒng)計(jì)行數(shù),建議另外弄一張統(tǒng)計(jì)表，采用myisam，定期做統(tǒng)計(jì).一般的對統(tǒng)計(jì)的數(shù)據(jù)不會要求太精準(zhǔn)的情況下適用。
2. 盡量不要在數(shù)據(jù)庫中做運(yùn)算。
3. 避免負(fù)向查詢和%前綴模糊查詢。
4. 不在索引列做運(yùn)算或者使用函數(shù)。
5. 不要在生產(chǎn)環(huán)境程序中使用select * from 的形式查詢數(shù)據(jù)。只查詢需要使用的列。
6. 查詢盡可能使用limit減少返回的行數(shù)，減少數(shù)據(jù)傳輸時間和帶寬浪費(fèi)。
7. where子句盡可能對查詢列使用函數(shù)，因?yàn)閷Σ樵兞惺褂煤瘮?shù)用不到索引。
8. 避免隱式類型轉(zhuǎn)換，例如字符型一定要用’’，數(shù)字型一定不要使用’’。
9. 所有的SQL關(guān)鍵詞用大寫，養(yǎng)成良好的習(xí)慣，避免SQL語句重復(fù)編譯造成系統(tǒng)資源的浪費(fèi)。
10. 聯(lián)表查詢的時候，記得把小結(jié)果集放在前面，遵循小結(jié)果集驅(qū)動大結(jié)果集的原則。
數(shù)據(jù)庫訪問量大 如何阻止阻塞的介紹就聊到這里吧，感謝你花時間閱讀本站內(nèi)容，更多關(guān)于數(shù)據(jù)庫訪問量大 如何阻止阻塞,高訪問量數(shù)據(jù)庫如何避免阻塞,如何解決數(shù)據(jù)庫數(shù)據(jù)量大的問題,網(wǎng)站訪問量大 怎樣優(yōu)化mysql數(shù)據(jù)庫的信息別忘了在本站進(jìn)行查找喔。
成都創(chuàng)新互聯(lián)科技有限公司，經(jīng)過多年的不懈努力，公司現(xiàn)已經(jīng)成為一家專業(yè)從事IT產(chǎn)品開發(fā)和營銷公司。廣泛應(yīng)用于計(jì)算機(jī)網(wǎng)絡(luò)、設(shè)計(jì)、SEO優(yōu)化、關(guān)鍵詞排名等多種行業(yè)！
網(wǎng)頁題目：高訪問量數(shù)據(jù)庫如何避免阻塞(數(shù)據(jù)庫訪問量大如何阻止阻塞)
網(wǎng)頁路徑：http://fisionsoft.com.cn/article/dhoipdc.html
