建站
咨詢
售后
建站咨詢
新聞中心
這里有您想知道的互聯網營銷解決方案
rpop方法怎么在python分布式爬蟲中使用
這篇文章主要介紹rpop方法怎么在python分布式爬蟲中使用，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！
在蒼南等地區(qū)，都構建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產品創(chuàng)新能力，以專注、極致的服務理念，為客戶提供網站設計、成都網站建設 網站設計制作按需開發(fā)網站,公司網站建設,企業(yè)網站建設,成都品牌網站建設,成都全網營銷,成都外貿網站建設公司,蒼南網站建設費用合理。
下面的代碼是消費端爬蟲程序的示例
import time
import redis
r = redis.Redis(host='127.0.0.1', port=6379,
password='yourpassword', db=1)
# 爬蟲程序
def crawl(task):
print('爬取url {task}'.format(task=task))
time.sleep(1)
while True:
task = r.rpop('url_queue')
if not task:
time.sleep(1)
continue
crawl(task)爬蟲程序要不停的使用rpop方法從redis的隊列中拉取數據進行爬取，考慮到生產者隨時都可能寫入新的任務，因此，必須使用死循環(huán)，得不到消息時，sleep一段時間，繼續(xù)獲取消息。
關于部署
生產端的程序，消費端的程序可以隨意部署，但不管如何，都要確保這些機器與redis所在的機器是網絡連通的，因為他們一個要寫消息到redis，一個要從redis拉取任務，至于生產端和消費端是否網絡連通則沒有任何必要，甚至同一端的worker之間也不必網絡連通
數據存儲
消費端的worker在爬取數據以后，可以根據實際需要決定是否直接落庫，如果需要對數據進行規(guī)范化處理或是其他操作，則可以寫入新的消息隊列中，由下一個工序的worker拉取數據進行處理
以上是“rpop方法怎么在python分布式爬蟲中使用”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注創(chuàng)新互聯行業(yè)資訊頻道！
網頁標題：rpop方法怎么在python分布式爬蟲中使用
本文URL：http://fisionsoft.com.cn/article/ipssgs.html
