序文
最近、サードパーティのデータをクロールする必要が小さなプログラムのプロジェクトをやって、そして重い爬虫類を拾うようになった、爬虫類実際には非常に優れたフロントエンドを達成するために、しかし、SPAであるため、今のページ、および必死ピット段、この記事を覚えてチャット開始しました快適住人。
通常のウェブサイトのクロールデータ--cheerio
簡単に言えば、ツールキットは、数行のコードを解決するために
const $ = require('cheerio')
const requestPromise = require('request-promise')
const url = 'https://juejin.im/books';
requestPromise(url)
.then((html) => {
// 利用 cheerio 来分析网页内容,拿到所有小册子的描述
const books = $('.info', html)
let totalSold = 0
let totalSale = 0
let totalBooks = books.length
// 遍历册子节点,分别统计它的购买人数,和销售额总和
books.each(function () {
const book = $(this)
const price = $(book.find('.price-text')).text().replace('¥', '')
const count = book.find('.message').last().find('span').text().split('人')[0]
totalSale += Number(price) * Number(count)
totalSold += Number(count)
})
// 最后打印出来
console.log(
`共 ${totalBooks} 本小册子`,
`共 ${totalSold} 人次购买`,
`约 ${Math.round(totalSale / 10000)} 万`
)
})
复制代码
しかし。。。ナゲッツは、古典的なSPAであるためしかし、デンバークロール上記の例は、不十分であり、サーバはデータがない、唯一の空のノードをマウント返します。このように、リードヘッドレスブラウザの人形遣い
--puppeteerクロールSPAページ
const $ = require('cheerio');
const puppeteer = require('puppeteer');
const url = 'https://juejin.im/books';
async function run(params) {
//打开一个浏览器
const browser = await puppeteer.launch();
// 打开一个页面
const page = await browser.newPage();
await page.goto(url, {
waitUntil: 'networkidle0'
});
const html = await page.content();
const books = $('.info', html);
let totalSold = 0
let totalSale = 0
let totalBooks = books.length
// 遍历册子节点,分别统计它的购买人数,和销售额总和
books.each(function () {
const book = $(this)
const price = $(book.find('.price-text')).text().replace('¥', '')
const count = book.find('.message').last().find('span').text().split('人')[0]
totalSale += Number(price) * Number(count)
totalSold += Number(count)
})
// 最后打印出来
console.log(
`共 ${totalBooks} 本小册子`,
`共 ${totalSold} 人次购买`,
`约 ${Math.round(totalSale / 10000)} 万`
)
}
run()
复制代码
次のように冊子のページデータをクロールすることでした
ます。https://juejin.im/post/5d020bf0e51d455d877e0d20で再現