最近2018中文字幕在日韩欧美国产成人片_国产日韩精品一区二区在线_在线观看成年美女黄网色视频_国产精品一区三区五区_国产精彩刺激乱对白_看黄色黄大色黄片免费_人人超碰自拍cao_国产高清av在线_亚洲精品电影av_日韩美女尤物视频网站

最近做了幾個(gè)寫爬蟲的小項(xiàng)目（從頁面端到APP端的都有），在網(wǎng)上搜尋了一番好用的爬蟲工具，做了個(gè)工具集整理：

成都創(chuàng)新互聯(lián)成立于2013年，我們提供高端成都網(wǎng)站建設(shè)、網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、網(wǎng)站定制、成都全網(wǎng)營(yíng)銷推廣、微信小程序開發(fā)、微信公眾號(hào)開發(fā)、seo優(yōu)化服務(wù)，提供專業(yè)營(yíng)銷思路、內(nèi)容策劃、視覺設(shè)計(jì)、程序開發(fā)來完成項(xiàng)目落地，為成都自拌料攪拌車企業(yè)提供源源不斷的流量和訂單咨詢。

Puppeteer

簡(jiǎn)介

Puppeteer 是一個(gè)Node庫，它提供了一個(gè)高級(jí) API 來通過 DevTools協(xié)議控制Chromium或Chrome。簡(jiǎn)單點(diǎn)說，就是使用Node命令控制一個(gè)無需渲染至用戶界面的瀏覽器。

與使用 PhantomJS 搭配 Python 進(jìn)行爬蟲抓取類似，其原理也是去完全地模擬一個(gè)瀏覽器進(jìn)行頁面的渲染，從而抓取其中某些特定的內(nèi)容。

特性

Puppeteer 可以完整地模擬一個(gè)瀏覽器的行為，并且可以進(jìn)行截圖、攔截瀏覽器請(qǐng)求、獲取Cookie、通過Node注入JS代碼等操作，使用Chrome瀏覽器開發(fā)者工具能做到的，Puppeteer也能做到。

使用起來也十分的簡(jiǎn)單，以下是官方的例子：

const puppeteer = require('puppeteer');

(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://example.com');
 await page.screenshot({path: 'example.png'});

 await browser.close();
})();

在GitHub上放了一份自己寫的使用Puppeteer獲取微博cookie的代碼，歡迎查看：

https://github.com/SP-Lyu/puppeteer_weibo_cookie/blob/master/index.js

由于 Puppeteer 基于Chromium，每次都需要載入頁面再進(jìn)行頁面分析，性能十分有限，下面提到的 cheerio 則可以從另一層面解決這個(gè)問題。

文檔

GitHub 

中文API地址

cheerio

cheerio 是一個(gè)輕型靈活，類jQuery的對(duì)HTML元素分析操作的工具。在進(jìn)行一些server端渲染的頁面以及一些簡(jiǎn)單的小頁面的爬取時(shí)， cheerio 十分好用且高效。

特性

cheerio 包括了jQuery的核心子集，意味著可以直接使用jQuery的API進(jìn)行元素的操控，官方的例子：

const cheerio = require('cheerio')
const $ = cheerio.load('
Hello world
')

$('h3.title').text('Hello there!')
$('h3').addClass('welcome')

$.html()
//=> 
Hello there!

自己寫的獲取某個(gè)網(wǎng)站的所有a鏈接：

const cheerio = require('cheerio');
const get = function(){/*HTTP get請(qǐng)求...*/}
(async ()=>{
 const html = await get(`http://example.com`);
 const $ = cheerio.load(html);
 const $dom_arr = $('a');
 $dom_arr.each((index, elem)=>{
  const url = $(elem).attr('href') || '';
  console.log(url);
 });
})();

文檔

GitHub

Auto.js

國(guó)人開發(fā)的，使用js編寫代碼操作Android設(shè)備的自動(dòng)化工具，對(duì)于爬取某些加固措施較好的APP來說十分有用，而且有非常完善的文檔以及社區(qū)，十分良心。

使用Auto.js進(jìn)行設(shè)備自動(dòng)化操作，再通過代理進(jìn)行請(qǐng)求數(shù)據(jù)的獲取，能繞開加固中難以破解的加密串。

特性

作為爬蟲工具，好處有：

1. 采用JavaScript作為腳本語言開發(fā)，JS開發(fā)者0成本接入；
2. 兼容性良好，大多數(shù)任務(wù)不需要root權(quán)限；
3. 自帶界面分析工具，方便定位需要操作的元素。

從Auto.js載入某個(gè)APP，并點(diǎn)擊進(jìn)入某個(gè)頻道的例子：

// 聲明環(huán)境
auto();
// 設(shè)備常亮
device.keepScreenDim();
// 調(diào)起APP
launchApp('頭條');
sleep(10000);
// 找到某個(gè)頻道，并點(diǎn)擊進(jìn)入
var rect = text('視頻').findOnce().bounds();
var x = rect.centerX();
var y = rect.centerY();
click(x, y);
// 點(diǎn)擊進(jìn)入詳情，使用代理抓取并處理請(qǐng)求...
...

文檔

GitHub
中文文檔
社區(qū)

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持創(chuàng)新互聯(lián)。