プロのプロファイルをクロール湖北師範大学の入試情報ネットワーク

  昨日、先生がテストを配置し、私は、トピックに割り当てる「http://zhinengdayi.com/hbnuクロールプロのプロファイルの専門学校。」

  サイトを入力した後、私は導入プロフェッショナルプロファイルを見つけました

 

   目視観察によって、私はWebフォームをクロールする必要ものを見つけ、チェックは本当にケースを見つけました

 

  思考:私はすぐにこのトピックを見て、それはまた、Webフォームで、中国の最高の大学のリストをクロールされ、本の中でそこに例を考えていました。

インポート必要なライブラリ
インポート要求
 から BS4 インポートBeautifulSoup 

ゴミ問題解決
インポートIO
 インポートSYS 
sys.stdoutの = io.TextIOWrapper(sys.stdout.buffer、コード= ' GB18030 ' 

#の要求 
R&LT requests.get =(" HTTPを://zhinengdayi.com/page/detail/LSPJPH/489/1040 " 
結果 = r.text 

構文解析HTMLソース 
スープBeautifulSoup =(結果、' html.parser '  = soup.find_all(' TH '
COM = soup.find_all(' TR ' 

将数据导入CSV文件 
FR =オープン(" jianjie.csv "" "  = []
 のための名前:
    li.append(i.text)
FR。書き込み(" " .join(LI)+ " \ n個" のための TR でのCOM:
    株式会社 = tr.find_all(' TD ' 場合 lenは(株)== 0:
         継続
    LI1 = []
     のための TD における株式会社:
        li1.append(td.text)
    fr.write(" " .join(LI1)+ " \ n " 
fr.close()

  コードは私の元の質問に応じて書かれているが、CSVファイルにデータを中心に、尋ねました。

FR =オープン(" jianjie.csv "" "

  この行は、ファイルを開いて、その後にリストを追加している、読み書きのファイルではなく、作成されたファイルです。

fr.write(" " .join(LI)+ " \ nは"

  リストデータは、ラップを加えた後、カンマ区切り、CSVファイルに書き込まれます。

  最後に、fr.close()ファイルを閉じます。

  以下がその結果です。

 

 

2019年11月23日夜2時56分01秒

おすすめ

転載: www.cnblogs.com/DrcProgrammingCool/p/11918027.html