前に紹介したRequestsライブラリはブロッキングHTTPリクエストライブラリです。リクエストを送信した後、プログラムはサーバーが応答するのを待ってから、応答を受信してから次のステップに進みます。実際、このプロセスはより多くのリソースを消費します。プログラムがこの待機プロセスで、要求のスケジューリング、応答の処理など、他のことを実行できる場合、クロールの効率は大幅に向上します。
aiohttpは、非同期Webサービスを提供するライブラリです。Python3.5以降、async / awaitキーワードがPythonに追加され、コールバックの記述がより直感的でユーザーフレンドリーになりました。aiohttpの非同期操作は、async / awaitキーワードの助けを借りて、より簡潔で明確になります。データキャプチャに非同期リクエストライブラリを使用すると、効率が大幅に向上します。このライブラリのインストール方法を見てみましょう。
1.関連リンク
-
PyPI:https://pypi.python.org/pypi/aiohttp
2.pipのインストール
ここでは、pipインストールを使用することをお勧めします。コマンドは次のとおりです。
pip3 install aiohttp
さらに、公式の推奨事項は、次の2つのライブラリをインストールすることです。1つは文字エンコード検出ライブラリcchardetで、もう1つはDNSを高速化するための解決ライブラリaiodnsです。インストールコマンドは次のとおりです。
pip3インストールcchardetaiodns
3.インストールをテストします
インストールが完了したら、Pythonコマンドラインでテストできます。
12 $ python3 >>> aiohttpをインポートする
エラーが報告されない場合は、ライブラリがインストールされています。