建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
?目錄
- 1、頁(yè)緩存技術(shù) + 磁盤(pán)順序?qū)?/li>
- 2、零拷貝技術(shù)
- 3、最后的總結(jié)
這篇文章來(lái)聊一下Kafka的一些架構(gòu)設(shè)計(jì)原理，這也是互聯(lián)網(wǎng)公司面試時(shí)非常高頻的技術(shù)考點(diǎn)。
成都創(chuàng)新互聯(lián)長(zhǎng)期為近千家客戶(hù)提供的網(wǎng)站建設(shè)服務(wù)，團(tuán)隊(duì)從業(yè)經(jīng)驗(yàn)10年，關(guān)注不同地域、不同群體，并針對(duì)不同對(duì)象提供差異化的產(chǎn)品和服務(wù)；打造開(kāi)放共贏平臺(tái)，與合作伙伴共同營(yíng)造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為臨安企業(yè)提供專(zhuān)業(yè)的做網(wǎng)站、網(wǎng)站設(shè)計(jì)，臨安網(wǎng)站改版等技術(shù)服務(wù)。擁有十多年豐富建站經(jīng)驗(yàn)和眾多成功案例,為您定制開(kāi)發(fā)。
Kafka是高吞吐低延遲的高并發(fā)、高性能的消息中間件，在大數(shù)據(jù)領(lǐng)域有極為廣泛的運(yùn)用。配置良好的Kafka集群甚至可以做到每秒幾十萬(wàn)、上百萬(wàn)的超高并發(fā)寫(xiě)入。
那么Kafka到底是如何做到這么高的吞吐量和性能的呢？這篇文章我們來(lái)一點(diǎn)一點(diǎn)說(shuō)一下。
1、頁(yè)緩存技術(shù) + 磁盤(pán)順序?qū)?/h4>
首先Kafka每次接收到數(shù)據(jù)都會(huì)往磁盤(pán)上去寫(xiě)，如下圖所示。
那么在這里我們不禁有一個(gè)疑問(wèn)了，如果把數(shù)據(jù)基于磁盤(pán)來(lái)存儲(chǔ)，頻繁的往磁盤(pán)文件里寫(xiě)數(shù)據(jù)，這個(gè)性能會(huì)不會(huì)很差？大家肯定都覺(jué)得磁盤(pán)寫(xiě)性能是極差的。
沒(méi)錯(cuò)，要是真的跟上面那個(gè)圖那么簡(jiǎn)單的話(huà)，那確實(shí)這個(gè)性能是比較差的。
但是實(shí)際上Kafka在這里有極為優(yōu)秀和出色的設(shè)計(jì)，就是為了保證數(shù)據(jù)寫(xiě)入性能，首先Kafka是基于操作系統(tǒng)的頁(yè)緩存來(lái)實(shí)現(xiàn)文件寫(xiě)入的。
操作系統(tǒng)本身有一層緩存，叫做page cache，是在內(nèi)存里的緩存，我們也可以稱(chēng)之為os cache，意思就是操作系統(tǒng)自己管理的緩存。
你在寫(xiě)入磁盤(pán)文件的時(shí)候，可以直接寫(xiě)入這個(gè)os cache里，也就是僅僅寫(xiě)入內(nèi)存中，接下來(lái)由操作系統(tǒng)自己決定什么時(shí)候把os cache里的數(shù)據(jù)真的刷入磁盤(pán)文件中。
僅僅這一個(gè)步驟，就可以將磁盤(pán)文件寫(xiě)性能提升很多了，因?yàn)槠鋵?shí)這里相當(dāng)于是在寫(xiě)內(nèi)存，不是在寫(xiě)磁盤(pán)，大家看下圖。
接著另外一個(gè)就是kafka寫(xiě)數(shù)據(jù)的時(shí)候，非常關(guān)鍵的一點(diǎn)，他是以磁盤(pán)順序?qū)懙姆绞絹?lái)寫(xiě)的。也就是說(shuō)，僅僅將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來(lái)修改數(shù)據(jù)。
普通的機(jī)械磁盤(pán)如果你要是隨機(jī)寫(xiě)的話(huà)，確實(shí)性能極差，也就是隨便找到文件的某個(gè)位置來(lái)寫(xiě)數(shù)據(jù)。
但是如果你是追加文件末尾按照順序的方式來(lái)寫(xiě)數(shù)據(jù)的話(huà)，那么這種磁盤(pán)順序?qū)懙男阅芑旧峡梢愿鷮?xiě)內(nèi)存的性能本身也是差不多的。
所以大家就知道了，上面那個(gè)圖里，Kafka在寫(xiě)數(shù)據(jù)的時(shí)候，一方面基于了os層面的page cache來(lái)寫(xiě)數(shù)據(jù)，所以性能很高，本質(zhì)就是在寫(xiě)內(nèi)存罷了。
另外一個(gè)，他是采用磁盤(pán)順序?qū)懙姆绞?，所以即使?shù)據(jù)刷入磁盤(pán)的時(shí)候，性能也是極高的，也跟寫(xiě)內(nèi)存是差不多的。
基于上面兩點(diǎn)，kafka就實(shí)現(xiàn)了寫(xiě)入數(shù)據(jù)的超高性能。
那么大家想想，假如說(shuō)kafka寫(xiě)入一條數(shù)據(jù)要耗費(fèi)1毫秒的時(shí)間，那么是不是每秒就是可以寫(xiě)入1000條數(shù)據(jù)？
但是假如kafka的性能極高，寫(xiě)入一條數(shù)據(jù)僅僅耗費(fèi)0.01毫秒呢？那么每秒是不是就可以寫(xiě)入10萬(wàn)條數(shù)？
所以要保證每秒寫(xiě)入幾萬(wàn)甚至幾十萬(wàn)條數(shù)據(jù)的核心點(diǎn)，就是盡最大可能提升每條數(shù)據(jù)寫(xiě)入的性能，這樣就可以在單位時(shí)間內(nèi)寫(xiě)入更多的數(shù)據(jù)量，提升吞吐量。
2、零拷貝技術(shù)
說(shuō)完了寫(xiě)入這塊，再來(lái)談?wù)勏M(fèi)這塊。
大家應(yīng)該都知道，從Kafka里我們經(jīng)常要消費(fèi)數(shù)據(jù)，那么消費(fèi)的時(shí)候?qū)嶋H上就是要從kafka的磁盤(pán)文件里讀取某條數(shù)據(jù)然后發(fā)送給下游的消費(fèi)者，如下圖所示。
那么這里如果頻繁的從磁盤(pán)讀數(shù)據(jù)然后發(fā)給消費(fèi)者，性能瓶頸在哪里呢？
假設(shè)要是kafka什么優(yōu)化都不做，就是很簡(jiǎn)單的從磁盤(pán)讀數(shù)據(jù)發(fā)送給下游的消費(fèi)者，那么大概過(guò)程如下所示：
先看看要讀的數(shù)據(jù)在不在os cache里，如果不在的話(huà)就從磁盤(pán)文件里讀取數(shù)據(jù)后放入os cache。
接著從操作系統(tǒng)的os cache里拷貝數(shù)據(jù)到應(yīng)用程序進(jìn)程的緩存里，再?gòu)膽?yīng)用程序進(jìn)程的緩存里拷貝數(shù)據(jù)到操作系統(tǒng)層面的Socket緩存里，最后從Socket緩存里提取數(shù)據(jù)后發(fā)送到網(wǎng)卡，最后發(fā)送出去給下游消費(fèi)。
整個(gè)過(guò)程，如下圖所示：
大家看上圖，很明顯可以看到有兩次沒(méi)必要的拷貝吧！
一次是從操作系統(tǒng)的cache里拷貝到應(yīng)用進(jìn)程的緩存里，接著又從應(yīng)用程序緩存里拷貝回操作系統(tǒng)的Socket緩存里。
而且為了進(jìn)行這兩次拷貝，中間還發(fā)生了好幾次上下文切換，一會(huì)兒是應(yīng)用程序在執(zhí)行，一會(huì)兒上下文切換到操作系統(tǒng)來(lái)執(zhí)行。
所以這種方式來(lái)讀取數(shù)據(jù)是比較消耗性能的。
Kafka為了解決這個(gè)問(wèn)題，在讀數(shù)據(jù)的時(shí)候是引入零拷貝技術(shù)。
也就是說(shuō)，直接讓操作系統(tǒng)的cache中的數(shù)據(jù)發(fā)送到網(wǎng)卡后傳輸給下游的消費(fèi)者，中間跳過(guò)了兩次拷貝數(shù)據(jù)的步驟，Socket緩存中僅僅會(huì)拷貝一個(gè)描述符過(guò)去，不會(huì)拷貝數(shù)據(jù)到Socket緩存。
大家看下圖，體會(huì)一下這個(gè)精妙的過(guò)程：
通過(guò)零拷貝技術(shù)，就不需要把os cache里的數(shù)據(jù)拷貝到應(yīng)用緩存，再?gòu)膽?yīng)用緩存拷貝到Socket緩存了，兩次拷貝都省略了，所以叫做零拷貝。
對(duì)Socket緩存僅僅就是拷貝數(shù)據(jù)的描述符過(guò)去，然后數(shù)據(jù)就直接從os cache中發(fā)送到網(wǎng)卡上去了，這個(gè)過(guò)程大大的提升了數(shù)據(jù)消費(fèi)時(shí)讀取文件數(shù)據(jù)的性能。
而且大家會(huì)注意到，在從磁盤(pán)讀數(shù)據(jù)的時(shí)候，會(huì)先看看os cache內(nèi)存中是否有，如果有的話(huà)，其實(shí)讀數(shù)據(jù)都是直接讀內(nèi)存的。
如果kafka集群經(jīng)過(guò)良好的調(diào)優(yōu)，大家會(huì)發(fā)現(xiàn)大量的數(shù)據(jù)都是直接寫(xiě)入os cache中，然后讀數(shù)據(jù)的時(shí)候也是從os cache中讀。
相當(dāng)于是Kafka完全基于內(nèi)存提供數(shù)據(jù)的寫(xiě)和讀了，所以這個(gè)整體性能會(huì)極其的高。
3、最后的總結(jié)
通過(guò)這篇文章對(duì)kafka底層的頁(yè)緩存技術(shù)的使用，磁盤(pán)順序?qū)懙乃悸?，以及零拷貝技術(shù)的運(yùn)用，大家應(yīng)該就明白Kafka每臺(tái)機(jī)器在底層對(duì)數(shù)據(jù)進(jìn)行寫(xiě)和讀的時(shí)候采取的是什么樣的思路，為什么他的性能可以那么高，做到每秒幾十萬(wàn)的吞吐量。
這種設(shè)計(jì)思想對(duì)我們平時(shí)自己設(shè)計(jì)中間件的架構(gòu)，或者是出去面試的時(shí)候，都有很大的幫助。?
網(wǎng)站題目：RocketMQ每秒要寫(xiě)入幾十萬(wàn)并發(fā)，是怎么實(shí)現(xiàn)的？
標(biāo)題網(wǎng)址：http://fisionsoft.com.cn/article/dhgghpc.html
