CentOS6.8システムのTencent Cloud ServerにおけるSeleniumテクノロジーの利用関連（Linux環境）

1. 説明

CentOS6.8環境でSeleniumを直接使いたい場合は、サーバー上にPythonがあるのが一般的でとても便利です。

2. 動作中のLinux関連コマンド

1. Google Chromeをダウンロード

yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm

2. Google Chromeのバージョンを確認する

google-chrome --version

3. 対応するバージョンの Google ドライブの圧縮パッケージをダウンロードします (またはローカルにアップロードします)。

wget https://chromedriver.storage.googleapis.com/113.0.5672.63/chromedriver_linux64.zip

4. ダウンロードしたファイルを解凍します。

unzip chromedriver_linux64.zip

5. モバイル ダウンロード ファイル

mv chromedriver /usr/bin/

6. ファイルの実行許可を与える

chmod +x /usr/bin/chromedriver

7. pip3 を最新バージョンに更新します

pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple/

8. Selenium サードパーティ ライブラリをダウンロードします。

一般的に、サーバー上には 2 つの Python があり、1 つは Python3.x、もう 1 つは Python2.x です。ほとんどの場合、サードパーティ ライブラリの Selenium は Python3.x を使用してダウンロードされます。私は通常、個別のダウンロードは好きではありませ

ん. そうでない場合、一部の依存関係が欠落している可能性があるため、通常は必要なサードパーティ ライブラリをすべてファイルに入れて、読み取ってダウンロードします。

pip3 install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple/

9. 正式なテスト

nohup python3 -u test.py > log.log 2>&1 &

10. 最後に、自分でテストできます (Selenium のバージョンは 4.3.0 以上である必要があります)。

#!/usr/bin/python3
#coding:utf-8
# 浏览器
from selenium import webdriver
# 规避检测
from selenium.webdriver import ChromeOptions
# 无头浏览器
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By

ch_options = webdriver.ChromeOptions()
#为Chrome配置无头模式
ch_options.add_argument("--headless")  
ch_options.add_argument('--no-sandbox')
ch_options.add_argument('--disable-gpu')
ch_options.add_argument('--disable-dev-shm-usage')
# 在启动浏览器时加入配置，这个驱动路径是容器里对应的路径，不是宿主机的路径
dr = webdriver.Chrome(service=Service("/ubuntu/python/chromedriver"),options=ch_options)
#这是测试网站
url = "https://www.baidu.com"
dr.get(url)
#打印源码
print(dr.page_source)

3. CentOS6.8 で Python3.6 を上位バージョンにアップデートする

1. 説明

python3.6では一部のサードパーティライブラリがダウンロードできず非常に面倒に感じるかもしれませんので、本家のpython3か何かをバージョンアップした方が良いと思います。ブロガーとしても追加しておきます。python3.7として使用します。例。

2. 圧縮パッケージをオンラインでダウンロードします。

wget https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz

3. 圧縮パッケージを解凍します。

tar -xvf Python-3.7.0.tgz

4. 関連する依存ライブラリをダウンロードする

yum install zlib zlib-devel libffi-devel -y

5. 対応するフォルダーにジャンプします

cd Python-3.7.0

6. /usr/local ディレクトリにインストールします

./configure --prefix=/usr/local/python3

7. プログラムをコンパイルし、指定したディレクトリにインストールします。

make && make altinstall

8. いくつかの一時ファイルを削除します (実行ファイルとソース コード (C/C++ コード) によって生成されたすべての中間ターゲット ファイルを削除します)

make clean

9. 元の python3 と pip3 を削除します

rm -rf /usr/bin/python3
rm -rf /usr/bin/pip3

10. ソフトリンクを作成する

ln -s /usr/local/python3/bin/python3.7 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip3

11.Pythonのバージョンを確認する

python3 -V

12. pip バージョンの表示

pip3 --V

13. 基本的には成功しました

14. pip コマンドに問題がある場合の解決策

エラー ModuleNotFoundError: No module names 'pip._internal.cli' が表示され続けます
。問題を解決するには、次の 2 つの手順を実行してください。

python -m ensurepip

python -m pip install --upgrade pip