ビープ音2回
現代の若者として、小説を読んだことがない人は少ないはずだと思いますね〜
一般的に言って、本が不足しているとき、私たちは何をしますか？当然、特定のランキングリストに移動して小説の名前を最初に見つけてから、Du Niangを探して検索してください、ねえ、Biqugeが答えを思い付くので、とても美しいです〜
しかし、それはとても面倒です。Pythonですべてを直接ダウンロードして、ゆっくりと見てみましょう〜
子供は選択するだけで、大人は選択する必要があります...
さて、話をやめましょう、みんな後で私を叱るでしょう〜
準備オーケー
環境モジュール
ソフトウェアがインストールされていない場合はソフトウェアをインストールし、モジュールがインストールされていない場合はモジュールをインストールしましょう。ソフトウェアについては説明しません。
私たちが使用するモジュールは、これら2つのモジュールであり、インストールする必要があります。
requests # 发送请求
re # 正则表达式模块
pip installモジュール名はインストールできます。インストールできない場合は、私のホームページの上部に記事が表示されます。まったく知らない兄弟向けに特別に作成されたチュートリアルがあります。Python/pycharmインストールパッケージとビデオチュートリアルはホームページの左側にあります。
ターゲットアドレス
https：//read.Hereqi誰もがlook.com/chapter/3i-t4PVRihdwe0zGvdPFgA2/djLVNZuVg7eaGfXRMrUjdw2/を持っています
中国語のフォントを削除するだけで、ターゲットを自分で変更でき、同じサイトを使用できます。
クローラープロセス
クローラーのプロセスは基本的にこれらのステップです。ここでは詳しく説明しません。以前の記事のいくつかでそれについて説明しました。
1. 发送请求
2. 获取数据
3. 解析数据
4. 保存数据
ビデオの説明：
Pythonを使用して、インターネット上のすべての小説を表示します
完全なコード
import requests # 发送请求
import re
# 伪装
headers = {
'cookie': '_yep_uuid=b1421b7f-11da-b15f-a3ad-95316478f93c; e1=%7B%22pid%22%3A%22qd_P_read%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A3%7D; e2=%7B%22pid%22%3A%22qd_P_read%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A3%7D; newstatisticUUID=1648708045_1995757040; _csrfToken=mAWbsvESMNwir4NfKBy5fy8RedwvNBabTq3PLx6r; fu=721555856; _gid=GA1.2.1193345906.1648708045; e1=%7B%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A18%22%2C%22l1%22%3A3%7D; e2=; qdrs=0%7C3%7C0%7C0%7C1; showSectionCommentGuide=1; qdgd=1; rcr=1031788647%2C1031920667; bc=1031920667%2C1031788647; pageOps=1; lrbc=1031788647%7C686160165%7C0%2C1031920667%7C695153167%7C1; _ga_FZMMH98S83=GS1.1.1648708044.1.1.1648708759.0; _ga_PFYW0QLV3P=GS1.1.1648708044.1.1.1648708759.0; _ga=GA1.2.777546916.1648708045',
'referer': 'https://book.大家自己改一下，看了准备工作就知道了.com/',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36',
}
url = 'https://book.大家自己改一下，看了准备工作就知道了.com/info/1031920667/#Catalog'
html_data = requests.get(url=url, headers=headers).text
info_list = re.findall('<h2 class="book_name"><a href="(.*?)" target="_blank" data-eid=".*?" data-cid=".*?" alt=".*?" title=".*?">(.*?)</a></h2>', html_data)
for link, title in info_list:
link = 'https:' + link
# print(link, title)
# 1. 发送请求
response = requests.get(url=link, headers=headers)
# 2. 获取数据
link_data = response.text
# print(html_data)
# 3. 解析数据
# 网页标签 <p></p> <a></a> <div></div> <img />
# <div class="read-content j_readContent" id=".*?">(.*?)</div>
text = re.findall('<div class="read-content j_readContent" id=".*?">(.*?)</div>', link_data, re.S)[0]
text = text.replace('<p>', '\n')
text = title + '\n\n' + text
print(text)
# 4. 保存数据
with open('网恋女友竟是九天神凰.txt', mode='a', encoding='utf-8') as f:
f.write(text)
兄弟、すべてのコードがここにあります、試してみましょう〜