サーバー上で gpt2 環境を構成するプロセス全体

構成情報

Tencent Cloud 学生価格割引 3 か月サーバーで 30 元

オペレーティング システム CentOS 7.6 64 ビット
CPU 1 コア
メモリ 2GB
パブリック ネットワーク帯域幅 1Mbps

Python3.6.5をインストールする

まず Python のバージョンを確認しpython -V、CentOS には python2.7.5 が付属していることがわかります
。python3 をインストールする必要があります。ここではバージョン 3.6.5 を選択します。

  1. C 言語のコンパイルおよびビルド ツールをインストールする
yum install gcc
  1. ダウンロード
wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz
  1. 解凍する
gunzip Python-3.6.5.tgz
  1. ファイルを解凍する
tar -xvf Python-3.6.5.tar
  1. インストールおよびビルドのプロセス中に必要になる可能性がある依存ライブラリ
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel
  1. 構成を実行し、
    Python ソース コード ディレクトリに Makefile (ビルド ファイル) を生成します。cd Python-3.6.5
./configure --prefix=/usr/local/python36 --enable-optimizations
  1. 構築してインストールする
make && make install
  1. 環境変数を追加する
ln -s /usr/local/python36/bin/python3.6 /usr/bin/python3
ln -s /usr/local/python36/bin/pip3 /usr/bin/pip3

現在の Python バージョンがpython3 --version3.6.5 であることを確認し、インストールが成功したことを示します。
pip3 バージョンを確認するpip3 --versionと、バージョン 9.0 であることがわかり、アップグレード可能です。
20.0 にアップグレードしますpip3 install --upgrade pip3。 現在のバージョンが 20.0.2 であることを確認します
。 Python環境が設定されました。

必要なライブラリをインストールする

まずgpt-2パッケージを入れて、requirements.txtに必要なライブラリが書いてある
のでフォルダに入ってcd gpt-2
ライブラリをインストールします

pip3 install -r requirements.txt

まだnumpyが足りない

pip3 install numpy

tensorflow と同様に、tensorflow の最新バージョンは gpt2 で必要な tensorflow.contrib.rnn をサポートしていません。バージョン 1.8.0 が必要です。

pip3 install tensorflow==1.8.0

走る

テスト後、このサーバーは 355M モデルを実行できず、117M モデルのみを実行できます。
最初にモデルをダウンロードしてください。

python3 download_model.py 117M

それから走ります

python3 src/interactive_conditional_samples.py --top_k 40 --temperature 0.9 --model_name 117M

モデル プロンプトが表示されたら、操作は成功したことを意味します。
次に、書き込みを続けたい内容を入力します。

おすすめ

転載: blog.csdn.net/weixin_45766122/article/details/104249114