序文
この記事のテキストと写真はインターネットからのものであり、学習とコミュニケーションのみを目的としています。商用目的ではありません。ご不明な点がございましたら、お問い合わせください。
PS:Pythonの学習教材が必要な場合は、以下のリンクをクリックして自分で入手できます
Pythonの無料学習資料とグループコミュニケーションの回答クリックして参加
基本的な環境構成
- Python 3.6
- pycharm
- リクエスト
- 小包
関連するモジュールピップをインストールできます
'' ' アクションゲーム:http://www.4399.com/flash_fl/2_1.htm スポーツ ゲーム:http://www.4399.com/flash_fl/3_1.htmパズルゲーム:http:// www.4399.com/flash_fl/5_1.htm シューティングゲーム:HTTP://www.4399.com/flash_fl/4_1.htm ... '' '
インポート要求は parselインポートする インポートのCSV F =オープン( '4399游戏の.csv'、モード= ''、= 'UTF-8-SIG'コード、改行= '') csv_writer = csv.DictWriter(F、フィールド名= [」游戏地址 '、'游戏名字 ']) 範囲( 1、106)のページのcsv_writer.writeheader(): url =' http://www.4399.com/flash_fl/5_ {} .htm'.format(page ) headers = { 'User-Agent': 'Mozilla / 5.0(Windows NT 10.0; WOW64)AppleWebKit / 537.36(KHTML、Geckoなど)Chrome / 81.0.4044.138 Safari / 537.36' } response = requests.get(url = url、 headers = headers) response.encoding = response.apparent_encodingselector = parsel.Selector(response.text) lis = selector.css( '#classic li ') lisのliの場合: dit = {} data_url = li.css( 'a :: attr(href)')。get() new_url = 'http://www.4399.com' + data_url.replace( 'http://'、 ' / ') dit [' game address '] = new_url title = li.css(' img :: attr(alt) ')。get() dit [' game name '] = title print(new_url、title) csv_writer.writerow ( 同上)f.close()
まだたくさんのデータがあり、32548個のデータだけがここに保存されます