今日の共有の主な目的は、Pythonでコマンドラインと構成ファイルを使用してコードの効率を向上させることです。
さあ行こう！
機械学習ではパラメータ調整プロセスを実践しており、3つの方法から選択できます。最初のオプションは、コマンドライン解析専用の人気のあるPythonモジュールであるargparseを使用することです。別のオプションは、すべてのハイパーパラメーターを配置できるJSONファイルを読み取ることです。3番目のオプションもあまり知られていません。これを行う方法は、YAMLファイルを使用することです。 ！好奇心旺盛です、始めましょう！
前提条件
以下のコードでは、非常に生産性の高い統合Python開発環境であるVisualStudioCodeを使用します。このツールの利点は、拡張機能をインストールすることですべてのプログラミング言語をサポートし、端末を統合し、多数のPythonスクリプトとJupyterノートブックを同時に処理できることです。
Kaggleの共有自転車データセットを使用したデータセットは、ここからダウンロードするか、記事の最後で入手できます。
https://www.kaggle.com/datasets/lakshmi25npathi/bike-sharing-dataset
argparseを使用する
上の画像に示されているように、小さなプロジェクトを整理するための標準的な構造があります。
- データセットを含むdataという名前のフォルダー
- train.pyファイル
- ハイパーパラメータを指定するためのoptions.pyファイル
まず、ファイルtrain.pyを作成します。このファイルには、データをインポートし、トレーニングデータでモデルをトレーニングし、テストセットで評価するための基本的なプログラムがあります。
import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error, mean_absolute_error
from options import train_options
df = pd.read_csv('data\hour.csv')
print(df.head())
opt = train_options()
X=df.drop(['instant','dteday','atemp','casual','registered','cnt'],axis=1).values
y =df['cnt'].values
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
if opt.normalize == True:
scaler = StandardScaler()
X = scaler.fit_transform(X)
rf = RandomForestRegressor(n_estimators=opt.n_estimators,max_features=opt.max_features,max_depth=opt.max_depth)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)
rmse = np.sqrt(mean_squared_error(y_pred, y_test))
mae = mean_absolute_error(y_pred, y_test)
print("rmse: ",rmse)
print("mae: ",mae)
コードでは、options.pyファイルに含まれているtrain_options関数もインポートします。後者のファイルはPythonファイルであり、train.pyで考慮されているハイパーパラメータを変更できます。
import argparse
def train_options():
parser = argparse.ArgumentParser()
parser.add_argument("--normalize", default=True, type=bool, help='maximum depth')
parser.add_argument("--n_estimators", default=100, type=int, help='number of estimators')
parser.add_argument("--max_features", default=6, type=int, help='maximum of features',)
parser.add_argument("--max_depth", default=5, type=int,help='maximum depth')
opt = parser.parse_args()
return opt
この例では、コマンドライン引数の解析に非常に人気のあるargparseライブラリを使用しました。まず、パーサーを初期化し、次にアクセスするパラメーターを追加します。
コードを実行する例を次に示します。
python train.py
ハイパーパラメータのデフォルト値を変更するには、2つの方法があります。最初のオプションは、options.pyファイルで異なるデフォルトを設定することです。別のオプションは、コマンドラインからハイパーパラメータ値を渡すことです：
python train.py --n_estimators 200
変更するハイパーパラメータの名前と対応する値を指定する必要があります。
python train.py --n_estimators 200 --max_depth 7
JSONファイルの操作
以前と同様に、同様のファイル構造を維持できます。この場合、options.pyファイルをJSONファイルに置き換えました。つまり、JSONファイルでハイパーパラメーターの値を指定してtrain.pyファイルに渡します。JSONファイルは、キーと値のペアを利用してデータを格納する、argparseライブラリの高速で直感的な代替手段になります。以下に、後で他のコードに渡す必要のあるデータを含むoptions.jsonファイルを作成します。
{
"normalize":true,
"n_estimators":100,
"max_features":6,
"max_depth":5
}
上記のように、Python辞書と非常によく似ています。ただし、辞書とは異なり、テキスト/文字列形式のデータが含まれています。さらに、構文がわずかに異なるいくつかの一般的なデータ型があります。たとえば、ブール値はfalse / trueであり、PythonはFalse/Trueを認識します。JSONで可能な他の値は配列であり、Pythonリストとして角括弧で表されます。
PythonでJSONデータを操作することの利点は、loadメソッドを使用してPythonディクショナリに変換できることです。
f = open("options.json", "rb")
parameters = json.load(f)
特定のアイテムにアクセスするには、角かっこで囲まれたキー名を引用する必要があります。
if parameters["normalize"] == True:
scaler = StandardScaler()
X = scaler.fit_transform(X)
rf=RandomForestRegressor(n_estimators=parameters["n_estimators"],max_features=parameters["max_features"],max_depth=parameters["max_depth"],random_state=42)
model = rf.fit(X_train,y_train)
y_pred = model.predict(X_test)
YAMLファイルの使用
最後のオプションは、YAMLの可能性を活用することです。JSONファイルと同様に、PythonコードのYAMLファイルを辞書として読み取り、ハイパーパラメーターの値にアクセスします。YAMLは人間が読める形式のデータ表現言語であり、階層はJSONファイルのように括弧ではなくダブルスペース文字を使用して表されます。以下に、options.yamlファイルに含まれる内容を示します。
normalize: True
n_estimators: 100
max_features: 6
max_depth: 5
train.pyで、options.yamlファイルを開きます。このファイルは、loadメソッドを使用して常にPythonディクショナリに変換されます。今回は、yamlライブラリからインポートされます。
import yaml
f = open('options.yaml','rb')
parameters = yaml.load(f, Loader=yaml.FullLoader)
以前と同様に、辞書に必要な構文を使用してハイパーパラメータの値にアクセスできます。
最終的な考え
構成ファイルは非常に高速にコンパイルされますが、argparseでは、追加するパラメーターごとに1行のコードを記述する必要があります。
したがって、状況に応じて最適な方法を選択する必要があります。
たとえば、パラメータにコメントを追加する必要がある場合、JSONはコメントを許可しないため適切ではありませんが、YAMLとargparseが適している可能性があります。
最後に：パブリックアカウントにすることができます：悲しいスパイシーなストリップ！216ページのソフトウェアテストエンジニアのインタビューコレクションドキュメントを自分で入手してください[無料]。そして、対応するビデオ学習チュートリアルは無料で共有されます！、基本的な知識、Linuxの基本事項、シェル、インターネットプログラムの原則、Mysqlデータベース、パケットキャプチャツールのトピック、インターフェイステストツール、高度なテスト-Pythonプログラミング、Web自動テスト、APP自動テスト、インターフェイス自動テスト、テスト高度な継続的統合、テストアーキテクチャ開発テストフレームワーク、パフォーマンステスト、セキュリティテストなど。
[Python自動テスト交換グループ：746506216 ]をお勧めします。誰もがソフトウェアテストについて話し合い、コミュニケーションを取り、ソフトウェアテストの手法、インタビュー、その他のソフトウェアテストの側面を一緒に学び、Python自動テスト/テスト開発を迅速に進めて移行することができます。高給に向けて。
ソフトウェアテストが好きな友達、私のブログがあなたに役立つなら、そして私のブログのコンテンツが好きなら、ワンクリックで「いいね」、「コメント」、「お気に入り」をお願いします！