新聞中心
這篇文章給大家介紹PHP中消息隊(duì)列的原理是什么,內(nèi)容非常詳細(xì),感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
1. 什么是消息隊(duì)列
消息隊(duì)列(英語:Message queue)是一種進(jìn)程間通信或同一進(jìn)程的不同線程間的通信方式
2. 為什么使用消息隊(duì)列
消息隊(duì)列技術(shù)是分布式應(yīng)用間交換信息的一種技術(shù)。消息隊(duì)列可駐留在內(nèi)存或磁盤上,隊(duì)列存儲消息直到它們被應(yīng)用程序讀出。通過消息隊(duì)列,應(yīng)用程序可獨(dú)立地執(zhí)行,它們不需要知道彼此的位置、或在繼續(xù)執(zhí)行前不需要等待接收程序接收此消息。
3. 什么場合使用消息隊(duì)列
你首先需要弄清楚,消息隊(duì)列與遠(yuǎn)程過程調(diào)用的區(qū)別,在很多讀者咨詢我的時候,我發(fā)現(xiàn)他們需要的是RPC(遠(yuǎn)程過程調(diào)用),而不是消息隊(duì)列。
消息隊(duì)列有同步或異步實(shí)現(xiàn)方式,通常我們采用異步方式使用消息隊(duì)列,遠(yuǎn)程過程調(diào)用多采用同步方式。
MQ與RPC有什么不同? MQ通常傳遞無規(guī)則協(xié)議,這個協(xié)議由用戶定義并且實(shí)現(xiàn)存儲轉(zhuǎn)發(fā);而RPC通常是專用協(xié)議,調(diào)用過程返回結(jié)果。
4. 什么時候使用消息隊(duì)列
同步需求,遠(yuǎn)程過程調(diào)用(PRC)更適合你。
異步需求,消息隊(duì)列更適合你。
目前很多消息隊(duì)列軟件同時支持RPC功能,很多RPC系統(tǒng)也能異步調(diào)用。
消息隊(duì)列用來實(shí)現(xiàn)下列需求
① 存儲轉(zhuǎn)發(fā)
② 分布式事務(wù)
③ 發(fā)布訂閱
④ 基于內(nèi)容的路由
⑤ 點(diǎn)對點(diǎn)連接
5. 誰負(fù)責(zé)處理消息隊(duì)列
通常的做法,如果小的項(xiàng)目團(tuán)隊(duì)可以有一個人實(shí)現(xiàn),包括消息的推送,接收處理。如果大型團(tuán)隊(duì),通常是定義好消息協(xié)議,然后各自開發(fā)各自的部分,例如一個團(tuán)隊(duì)負(fù)責(zé)寫推送協(xié)議部分,另一個團(tuán)隊(duì)負(fù)責(zé)寫接收與處理部分。
那么為什么我們不講消息隊(duì)列框架化呢?
框架化有幾個好處:
① 開發(fā)者不用學(xué)習(xí)消息隊(duì)列接口
② 開發(fā)者不需要關(guān)心消息推送與接收
③ 開發(fā)者通過統(tǒng)一的API推送消息
④ 開發(fā)者的重點(diǎn)是實(shí)現(xiàn)業(yè)務(wù)邏輯功能
6. 怎么實(shí)現(xiàn)消息隊(duì)列框架
下面是作者開發(fā)的一個SOA框架,該框架提供了三種接口,分別是SOAP,RESTful,AMQP(RabbitMQ),理解了該框架思想,你很容易進(jìn)一步擴(kuò)展,例如增加XML-RPC, ZeroMQ等等支持。
https://github.com/netkiller/SOA
本文只講消息隊(duì)列框架部分。
6.1. 守護(hù)進(jìn)程
消息隊(duì)列框架是本地應(yīng)用程序(命令行程序),我們?yōu)榱俗屗诤笈_運(yùn)行,需要實(shí)現(xiàn)守護(hù)進(jìn)程。
https://github.com/netkiller/SOA/blob/master/bin/rabbitmq.php
每個實(shí)例處理一組隊(duì)列,實(shí)例化需要提供三個參數(shù),$queueName = '隊(duì)列名', $exchangeName = '交換名', $routeKey = '路由'
$daemon = new \framework\RabbitDaemon($queueName = 'email', $exchangeName = 'email', $routeKey = 'email');
守護(hù)進(jìn)程需要使用root用戶運(yùn)行,運(yùn)行后會切換到普通用戶,同時創(chuàng)建進(jìn)程ID文件,以便進(jìn)程停止的時候使用。
守護(hù)進(jìn)程核心代碼https://github.com/netkiller/SOA/blob/master/system/rabbitdaemon.class.php
6.2. 消息隊(duì)列協(xié)議
消息協(xié)議是一個數(shù)組,將數(shù)組序列化或者轉(zhuǎn)為JSON推送到消息隊(duì)列服務(wù)器,這里使用json格式的協(xié)議。
$msg = array( 'Namespace'=>'namespace', "Class"=>"Email", "Method"=>"smtp", "Param" => array( $mail, $subject, $message, null ) );
序列化后的協(xié)議
{"Namespace":"single","Class":"Email","Method":"smtp","Param":["[email protected]","Hello"," TestHelloWorld",null]}
使用json格式是考慮到通用性,這樣推送端可以使用任何語言。如果不考慮兼容,建議使用二進(jìn)制序列化,例如msgpack效率更好。
6.3. 消息隊(duì)列處理
消息隊(duì)列處理核心代碼
https://github.com/netkiller/SOA/blob/master/system/rabbitmq.class.php
所以消息的處理在下面一段代碼中進(jìn)行
$this->queue->consume(function($envelope, $queue) { $speed = microtime(true); $msg = $envelope->getBody(); $result = $this->loader($msg); $queue->ack($envelope->getDeliveryTag()); //手動發(fā)送ACK應(yīng)答 //$this->logging->info(''.$msg.' '.$result) $this->logging->debug('Protocol: '.$msg.' '); $this->logging->debug('Result: '. $result.' '); $this->logging->debug('Time: '. (microtime(true) - $speed) .''); });
public function loader($msg = null)
負(fù)責(zé)拆解協(xié)議,然后載入對應(yīng)的類文件,傳遞參數(shù),運(yùn)行方法,反饋結(jié)果。
Time 可以輸出程序運(yùn)行所花費(fèi)的時間,對于后期優(yōu)化十分有用。
提示
loader() 可以進(jìn)一步優(yōu)化,使用多線程每次調(diào)用loader將任務(wù)提交到線程池中,這樣便可以多線程處理消息隊(duì)列。
6.4. 測試
測試代碼 https://github.com/netkiller/SOA/blob/master/test/queue/email.php
'192.168.4.1', 'port' => '5672', 'vhost' => '/', 'login' => 'guest', 'password' => 'guest' )); $connection->connect() or die("Cannot connect to the broker!\n"); $channel = new AMQPChannel($connection); $exchange = new AMQPExchange($channel); $exchange->setName($exchangeName); $queue = new AMQPQueue($channel); $queue->setName($queueName); $queue->setFlags(AMQP_DURABLE); $queue->declareQueue(); $msg = array( 'Namespace'=>'namespace', "Class"=>"Email", "Method"=>"smtp", "Param" => array( $mail, $subject, $message, null ) ); $exchange->publish(json_encode($msg), $routeKey); printf("[x] Sent %s \r\n", json_encode($msg)); $connection->disconnect();
這里只給出了少量測試與演示程序,如有疑問請到瀆者群,或者公眾號詢問。
7. 多線程
上面消息隊(duì)列 核心代碼如下
$this->queue->consume(function($envelope, $queue) { $msg = $envelope->getBody(); $result = $this->loader($msg); $queue->ack($envelope->getDeliveryTag()); });
這段代碼生產(chǎn)環(huán)境使用了半年,發(fā)現(xiàn)效率比較低。有些業(yè)務(wù)場入隊(duì)非??欤幚砥饋硭ǖ臅r間就比較長,容易出現(xiàn)隊(duì)列堆積現(xiàn)象。
增加多線程可能更有效利用硬件資源,提高業(yè)務(wù)處理能力。代碼如下
classspath = __DIR__.'/../queue'; $this->msg = $msg; $this->logging = $logging; $this->queue = $queue; } public function run() { $speed = microtime(true); $result = $this->loader($this->msg); $this->logging->debug('Result: '. $result.' '); $this->logging->debug('Time: '. (microtime(true) - $speed) .''); } // private public function loader($msg = null){ $protocol = json_decode($msg,true); $namespace = $protocol['Namespace']; $class = $protocol['Class']; $method = $protocol['Method']; $param = $protocol['Param']; $result = null; $classspath = $this->classspath.'/'.$this->queue.'/'.$namespace.'/'.strtolower($class) . '.class.php'; if( is_file($classspath) ){ require_once($classspath); //$class = ucfirst(substr($request_uri, strrpos($request_uri, '/')+1)); if (class_exists($class)) { if(method_exists($class, $method)){ $obj = new $class; if (!$param){ $tmp = $obj->$method(); $result = json_encode($tmp); $this->logging->info($class.'->'.$method.'()'); }else{ $tmp = call_user_func_array(array($obj, $method), $param); $result = (json_encode($tmp)); $this->logging->info($class.'->'.$method.'("'.implode('","', $param).'")'); } }else{ $this->logging->error('Object '. $class. '->' . $method. ' is not exist.'); } }else{ $msg = sprintf("Object is not exist. (%s)", $class); $this->logging->error($msg); } }else{ $msg = sprintf("Cannot loading interface! (%s)", $classspath); $this->logging->error($msg); } return $result; } } class RabbitMQ { const loop = 10; protected $queue; protected $pool; public function __construct($queueName = '', $exchangeName = '', $routeKey = '') { $this->config = new \framework\Config('rabbitmq.ini'); $this->logfile = __DIR__.'/../log/rabbitmq.%s.log'; $this->logqueue = __DIR__.'/../log/queue.%s.log'; $this->logging = new \framework\log\Logging($this->logfile, $debug=true); //.H:i:s $this->queueName = $queueName; $this->exchangeName = $exchangeName; $this->routeKey = $routeKey; $this->pool = new \Pool($this->config->get('pool')['thread']); } public function main(){ $connection = new \AMQPConnection($this->config->get('rabbitmq')); try { $connection->connect(); if (!$connection->isConnected()) { $this->logging->exception("Cannot connect to the broker!" .PHP_EOL); } $this->channel = new \AMQPChannel($connection); $this->exchange = new \AMQPExchange($this->channel); $this->exchange->setName($this->exchangeName); $this->exchange->setType(AMQP_EX_TYPE_DIRECT); //direct類型 $this->exchange->setFlags(AMQP_DURABLE); //持久?? $this->exchange->declareExchange(); $this->queue = new \AMQPQueue($this->channel); $this->queue->setName($this->queueName); $this->queue->setFlags(AMQP_DURABLE); //持久?? $this->queue->declareQueue(); $this->queue->bind($this->exchangeName, $this->routeKey); $this->queue->consume(function($envelope, $queue) { $msg = $envelope->getBody(); $this->logging->debug('Protocol: '.$msg.' '); //$result = $this->loader($msg); $this->pool->submit(new RabbitThread($this->queueName, new \framework\log\Logging($this->logqueue, $debug=true), $msg)); $queue->ack($envelope->getDeliveryTag()); }); $this->channel->qos(0,1); } catch(\AMQPConnectionException $e){ $this->logging->exception($e->__toString()); } catch(\Exception $e){ $this->logging->exception($e->__toString()); $connection->disconnect(); $this->pool->shutdown(); } } private function fault($tag, $msg){ $this->logging->exception($msg); throw new \Exception($tag.': '.$msg); } public function __destruct() { } }
php有什么特點(diǎn)
1、執(zhí)行速度快。2、具有很好的開放性和可擴(kuò)展性。3、PHP支持多種主流與非主流的數(shù)據(jù)庫。4、面向?qū)ο缶幊蹋篜HP提供了類和對象。5、版本更新速度快。6、具有豐富的功能。7、可伸縮性。8、功能全面,包括圖形處理、編碼與解碼、壓縮文件處理、xml解析等。
關(guān)于PHP中消息隊(duì)列的原理是什么就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,可以學(xué)到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
當(dāng)前題目:PHP中消息隊(duì)列的原理是什么-創(chuàng)新互聯(lián)
文章起源:http://fisionsoft.com.cn/article/dcsdde.html