昨日、先生がテストを配置し、私は、トピックに割り当てる「http://zhinengdayi.com/hbnuクロールプロのプロファイルの専門学校。」
サイトを入力した後、私は導入プロフェッショナルプロファイルを見つけました
目視観察によって、私はWebフォームをクロールする必要ものを見つけ、チェックは本当にケースを見つけました
思考:私はすぐにこのトピックを見て、それはまた、Webフォームで、中国の最高の大学のリストをクロールされ、本の中でそこに例を考えていました。
#インポート必要なライブラリ インポート要求 から BS4 インポートBeautifulSoup #ゴミ問題解決 インポートIO インポートSYS sys.stdoutの = io.TextIOWrapper(sys.stdout.buffer、コード= ' GB18030 ' ) #の要求 R&LT requests.get =(" HTTPを://zhinengdayi.com/page/detail/LSPJPH/489/1040 " ) 結果 = r.text #構文解析HTMLソース スープBeautifulSoup =(結果、' html.parser ' ) 名 = soup.find_all(' TH ') COM = soup.find_all(' TR ' ) #将数据导入CSV文件 FR =オープン(" jianjie.csv "、" " ) 李 = [] のための私で名前: li.append(i.text) FR。書き込み(" " .join(LI)+ " \ n個" ) のための TR でのCOM: 株式会社 = tr.find_all(' TD ' ) 場合 lenは(株)== 0: 継続 LI1 = [] のための TD における株式会社: li1.append(td.text) fr.write(" " .join(LI1)+ " \ n " ) fr.close()
コードは私の元の質問に応じて書かれているが、CSVファイルにデータを中心に、尋ねました。
FR =オープン(" jianjie.csv "、" ")
この行は、ファイルを開いて、その後にリストを追加している、読み書きのファイルではなく、作成されたファイルです。
fr.write(" " .join(LI)+ " \ nは"
リストデータは、ラップを加えた後、カンマ区切り、CSVファイルに書き込まれます。
最後に、fr.close()ファイルを閉じます。
以下がその結果です。
2019年11月23日夜2時56分01秒