今日クロールしていたとき、20個のプログラムをクロールした後、どういうわけか行き詰まり、サーバーによってブロックされていると思いました。また、ユーザーエージェントプールを追加し、ランダムに取得したユーザーエージェントをヘッダーのフォームに追加しました。最後のファイルの命名に問題があるとは思っていませんでした。命名に使用した文字列に不正な文字が含まれています。インターネットで情報を検索し、正規表現を使用して文字列内の不正な文字を削除する関数を作成します。
import re
def validateTitle(title):
rstr = r"[\/\\\:\*\?\"\<\>\|]" # '/ \ : * ? " < > |'
new_title = re.sub(rstr, "_", title) # 替换为下划线
return new_title
問題を無事に解決しました！
参照：
https://www.polarxiong.com/archives/Python-%E6%9B%BF%E6%8D%A2%E6%88%96%E5%8E%BB%E9%99%A4%E4%B8%8D ％E8％83％BD％E7％94％A8％E4％BA％8E％E6％96％87％E4％BB％B6％E5％90％8D％E7％9A％84％E5％AD％97％E7 ％AC％A6.html
————————————————
著作権表示：この記事は、CC 4.0BY-SA著作権表示に準拠したCSDNブロガー「Burette_Lee」の元の記事です。元のソースリンクを添付してくださいそして、再版のためのこの声明。
元のリンク：https：//blog.csdn.net/qq_29303759/article/details/81944733