Python は、インテリジェント ロボットに関する一連のブログ投稿を作成します --- ブラウザ自動化テクノロジを利用した Web コンテンツの自動取得


著者:qyan.li

日付:2022.6.3

トピック:Webページ自動化技術により、指定したコンテンツのWebページ検索を実現

1つ、前に書かれています:

         ~~~~~~~~        python知能ロボットの構築シリーズ第2弾.主な機能は,ブラウザ自動化技術の助けを借りて,Webページ上の指定されたコンテンツの検索を実現することである.知能ロボットのもう一つの機能.

         ~~~~~~~~        システムの他の機能の実装を紹介するために、将来的に約3つの記事があります. それを必要とする学生はそれに注意を払うことができます. 各部分はサブコードを与えます, そして完全なコードはで提供されます.終了後の最後のブログ投稿。

2. システムの準備:

         ~~~~~~~~        ブラウザー自動化は Web コンテンツの取得を可能にすることを目的としているため、ブラウザー自動化用のツールを構成する必要があります。かなり前に設定したので詳しい手順は覚えていないので(ブラウザに合わせたドライバファイルをダウンロードするには指定のWebページに行く必要があるようです)、詳しくは割愛します。CSDNインターネット上には多くの構成に関するブログ記事があり、読者は自分で構成を検索できますwindowsシステム上の構成は比較的単純です。

3. システムの実現:

         ~~~~~~~~        いつものように、最初にコードをアップロードして、誰もが参照して借りられるようにしましょう。

## 自动内容检索
def SearchInternet(ObjectContent):
    '''
    :param ObjectContent:待检索的目标内容 
    :return: None
    '''

    driver = webdriver.Firefox()
    url = 'http://www.baidu.com'
    driver.get(url)
    # 最大化窗口(方便后续定位搜索框)
    driver.maximize_window()

    '''不同的浏览器,此处的标签驱动不同(可从网页源码分析)'''
    # 输入框定位和内容输入
    shuru = driver.find_element_by_id('kw')
    shuru.send_keys(ObjectContent)
    time.sleep(2)

    # 内容检索
    sousuo = driver.find_element_by_id('su')
    sousuo.click()
    time.sleep(2)

コード内のコンテンツの一部を分析して説明します。

  • driver = webdriver.Firefox()パソコンのブラウザは自動的に Firefox ブラウザに設定されるので、ここで呼びますFirefox、その他の自己変更を設定すると

  • driver.get('http://www.baidu.com')理論的には、構成が成功した場合、ここでコードを実行してブラウザを正常に開き、Baidu のホームページにジャンプできます。

  • driver.find_element_by_id()メソッドはid値によってページ上の特定のコンポーネントを見つけることができますが、id値を見つける方法は? クリックしてF12Web ページのソース コードを表示し、対応するコンポーネントの値を見つけますid

    1. F12 を押した後に Web ページのソース コードを表示します。
      ここに画像の説明を挿入
    2. 右側の黒いインターフェースの左上隅にある小さな矢印をクリックし、特定の座標を持つコンポーネントにカーソルを移動すると、右側の特定のソース コードを選択して表示できますid
      ここに画像の説明を挿入
    3. その中のIDを確認し、ここで検索ボックスを例に取り、id = kw
      ここに画像の説明を挿入
               ~~~~~~~~を確認してください        上記の方法の助けを借りて、入力ボックスと検索ボタンを見つけることができidますkwsu
  • コンポーネントを見つけた後、メソッドとメソッドの助けを借りて、コンテンツの入力send_keys()click()ボタンのクリックを実現できます。本質的に、指定されたコンテンツの取得を完了するための人間の操作をシミュレートします。

4. まとめと振り返り:

         ~~~~~~~~        コードは一般に比較的単純であり、Web クローラーを理解している学生にはなじみがあるかもしれません。OK、ウェブ検索機能が実現しました。次のブログ投稿では、音楽再生と自動メッセージ送信を実現する方法を説明します。
         ~~~~~~~~        参考リンク:https://blog.csdn.net/DALEONE/article/details/125197018 ?spm=1001.2014.3001.5501

おすすめ

転載: blog.csdn.net/DALEONE/article/details/125196888