輸入asyncio から pyppeteerの輸入打ち上げ から lxmlのインポートetree 非同期DEF :メイン() BRO =待つ打ち上げ(ヘッドレス= Falseの) ページ = 待つbro.newPage()は page.goto(待つ' http://quotes.toscrape.com/を' ) page_text = 待つpage.content() の戻りpage_text デフ解析(タスク): page_text = tasks.result() ツリー = etree.HTML(page_text) div_list= tree.xpath(' / HTML /本体/ DIV / DIV [2] / DIV [1] / DIV ' ) のための要素でdiv_list: コンテンツ = element.xpath(' .//スパン/テキスト()' ) プリント(コンテンツ) C = main()の タスク = asyncio.ensure_future(C) tasks.add_done_callback(パース) ループ = asyncio.get_event_loop() loop.run_until_complete(タスク)
動的ロード用pyppteerクロールコンテンツページも着陸をシミュレートするために使用することができます