好看的电视剧,完美世界有声小说,小说排行榜

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營(yíng)銷解決方案

Scrapyd部署爬蟲(chóng)

準(zhǔn)備工作

安裝scrapyd: pip install scrapyd
創(chuàng)新互聯(lián)公司-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比南陵網(wǎng)站開(kāi)發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式南陵網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋南陵地區(qū)。費(fèi)用合理售后完善，十載實(shí)體公司更值得信賴。
安裝scrapyd-client : pip install scrapyd-client
安裝curl:[安裝地址](http://ono60m7tl.bkt.clouddn.com/curl.exe),安裝完成以后將所在目錄配置到環(huán)境變量中

開(kāi)始部署

修改scrapy項(xiàng)目目錄下的scrapy.cfg文件，修改如下

[deploy:JD_Spider]    #加上target   :nameurl = http://localhost:6800/   #將前面的#刪除project = JD               #project的名字，可以使用默認(rèn)的，當(dāng)然也可以改變

在任意目錄下的打開(kāi)終端，輸入scrapyd,觀察是否運(yùn)行成功，運(yùn)行成功的話，就可以打開(kāi)http://localhost:6800看是否正常顯示，如果正常顯示則看到下面的這張圖,這里的JD是部署之后才能看到的，現(xiàn)在是看不到的，所以沒(méi)出現(xiàn)也不要擔(dān)心：

在項(xiàng)目的根目錄下運(yùn)行如下的命令：python E:\python2.7\Scripts\scrapyd-deploy target -p project,這里的E:\python2.7\Scripts\是你的python安裝目錄，Scripts是安裝目錄下的一個(gè)文件夾，注意前面一定要加上python,target是在前面scrapy.cfg中設(shè)置的deploy:JD_Spider，JD_Spider就是target,project 是JD,因此這個(gè)完整的命令是python E:\python2.7\Scripts\scrapyd-deploy JD_Spider -p JD,現(xiàn)在項(xiàng)目就部署到上面了，這下網(wǎng)頁(yè)上就有JD了，詳情請(qǐng)見(jiàn)上圖

驗(yàn)證是否成功，你可以在網(wǎng)頁(yè)上看有沒(méi)有顯示你的工程名字，另外在根目錄下輸入python E:\python2.7\Scripts\scrapyd-deploy -l就能列出你所有部署過(guò)的項(xiàng)目了

啟動(dòng)爬蟲(chóng)：curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider_name,這里的project填入的是項(xiàng)目名，spider_name填入的是你的爬蟲(chóng)中定義的name,運(yùn)行我的實(shí)例完整的代碼為：curl http://localhost:6800/schedule.json -d project=JD -d spider=spider，這里將會(huì)顯示如下信息：

#這里的jobid比較重要，下面會(huì)用到這個(gè)取消爬蟲(chóng){"status": "ok", "jobid": "3013f9d1283611e79a63acb57dec5d04", "node_name": "DESKTOP-L78TJQ7"}

取消爬蟲(chóng)：curl http://localhost:6800/cancel.json -d project=myproject -d job=jobid,jobid就是上面的提到過(guò)的，如果取消我的這個(gè)實(shí)例代碼如：curl http://localhost:6800/cancel.json -d project=JD -d job=3013f9d1283611e79a63acb57dec5d04,那么它的狀態(tài)就會(huì)變成如下：

{"status": "ok", "prevstate": "running", "node_name": "DESKTOP-L78TJQ7"}

列出項(xiàng)目：curl http://localhost:6800/listprojects.json,下面將會(huì)出現(xiàn)你已經(jīng)部署的項(xiàng)目

刪除項(xiàng)目：curl http://localhost:6800/delproject.json -d project=myproject

列出版本：curl http://localhost:6800/listversions.json?project=myproject,這里的project是項(xiàng)目的名字，是在scrapy.cfg設(shè)置的

列出爬蟲(chóng)：curl http://localhost:6800/listspiders.json?project=myproject這里的project是項(xiàng)目的名字，是在scrapy.cfg設(shè)置的

列出job:curl http://localhost:6800/listjobs.json?project=myproject這里的project是項(xiàng)目的名字，是在scrapy.cfg設(shè)置的

刪除版本：curl http://localhost:6800/delversion.json -d project=myproject -d version=r99，這里的version是自己的項(xiàng)目版本號(hào)，在刪除之前需要查看版本號(hào)

本文題目：Scrapyd部署爬蟲(chóng)
URL地址：http://fisionsoft.com.cn/article/pcgdes.html

新聞中心

準(zhǔn)備工作

開(kāi)始部署

其他資訊