以下は Python で書かれたクローラー プログラムです。
bs4 import BeautifulSoup からのインポートリクエスト
URL = ' http://example.com/'
リクエストをする
応答 = リクエスト.get(url)
Webページを解析する
スープ = BeautifulSoup(response.text, 'html.parser')
すべてのリンクを見つける
リンク = スープ.find_all('a')
トラバースリンク
リンク内のリンクの場合: print(link.get('href'))