Tensorflow の損失関数

1.平均二乗誤差

一般に、サンプルサイズが一定の場合、点推定値の品質を評価するために使用されるインデックスは常に点推定値 x です。

パラメータの真の値 x' からの距離の関数。最も一般的に使用される関数は距離の 2 乗です。

ランダム性を使用すると、関数が期待できます。これは、次の式で与えられる平均二乗誤差です。

次のルーチンでは、目的関数として y=x1+x2 が提案され、パラメーターがランダムに初期化され、反復のためにノイズが追加され、平均二乗誤差の損失関数が勾配降下に使用され、ターゲットに連続的に近づきます。

コード：

SEED = 23455
rdm = np.random.RandomState(seed=SEED)  # 生成[0,1)之间的随机数
x = rdm.rand(32, 2)
y_ = [[x1 + x2 + (rdm.rand() / 10.0 - 0.05)] for (x1, x2) in x]  # 生成噪声[0,1)/10=[0,0.1); [0,0.1)-0.05=[-0.05,0.05)
x = tf.cast(x, dtype=tf.float32)
w1 = tf.Variable(tf.random.normal([2, 1], stddev=1, seed=1))
epoch = 15000
lr = 0.002
for epoch in range(epoch):
    with tf.GradientTape() as tape:
        y = tf.matmul(x, w1)
        loss_mse = tf.reduce_mean(tf.square(y_ - y))
    grads = tape.gradient(loss_mse, w1)
    w1.assign_sub(lr * grads)
    if epoch % 500 == 0:
        print("After %d training steps,w1 is " % (epoch))
        print(w1.numpy(), "\n")
print("Final w1 is: ", w1.numpy())

結果：

2.クロスエントロピー

        交差エントロピー: 確率分布間の距離を示します

        クロスエントロピー関数: tf.losses.categorical_crossentropy(x,y)

         クロスエントロピーはニューラルネットワーク (機械学習) の損失関数として使用できます。p は実際のマークの分布を表し、q はトレーニング済みモデルの予測マーク分布であり、クロスエントロピー損失関数は p と q の類似性を測定できます。 . クロスエントロピーを損失関数として使用するもう 1 つの利点は、シグモイド関数を使用すると、勾配降下中に平均二乗誤差損失関数の学習率が低下するという問題を回避できることです。これは、学習率を出力誤差によって制御できるためです。(百度百科事典)

例：

loss_ce1 = tf.losses.categorical_crossentropy([1, 0], [0.6, 0.4])
loss_ce2 = tf.losses.categorical_crossentropy([1, 0], [0.8, 0.2])
print("loss_ce1:", loss_ce1)
print("loss_ce2:", loss_ce2)

結果：

知らせ：

# 一般的に言えば、softmax はクロス エントロピーと組み合わせて使用されます: 最初に softmax を計算し、次に損失関数を計算します
# 関数は次のとおりです: tf.nn.softmax_cross_entropy_with_logits(x,y)
#この関数はソフトマックスとクロスエントロピーを同時に計算できます

たとえば、softmax 関数とクロスエントロピー関数を別々に使用し、softmax_cross_entropy_with_logits 単一関数を使用して計算された結果は同じである必要があります。

# 一般而言，softmax于交叉熵结合使用：先计算sftmax然后计算损失函数
# 函数为：tf.nn.softmax_cross_entropy_with_logits(x,y)
y_ = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 0, 0], [0, 1, 0]])
y = np.array([[12, 3, 2], [3, 10, 1], [1, 2, 5], [4, 6.5, 1.2], [3, 6, 1]])
y_pro = tf.nn.softmax(y)
loss_ce1 = tf.losses.categorical_crossentropy(y_,y_pro)
loss_ce2 = tf.nn.softmax_cross_entropy_with_logits(y_, y)
print('分步计算的结果:\n', loss_ce1)
print('结合计算的结果:\n', loss_ce2)
# 输出的结果相同

結果：

3.カスタムロス機能

たとえば、以下の例のセグメント化された損失関数では、where ステートメントを使用してこの損失関数を表現できます。

損失 = tf.reduce_sum(tf.where(tf.greater(y, y_), (y - y_) * 費用, (y_ - y) * 利益))

損失関数式:

コード表示:

# 自定义损失函数
SEED = 23455
COST = 99
PROFIT = 1
rdm = np.random.RandomState(SEED)
x = rdm.rand(32, 2)
y_ = [[x1 + x2 + (rdm.rand() / 10.0 - 0.05)] for (x1, x2) in x]  # 生成噪声[0,1)/10=[0,0.1); [0,0.1)-0.05=[-0.05,0.05)
x = tf.cast(x, dtype=tf.float32)
w1 = tf.Variable(tf.random.normal([2, 1], stddev=1, seed=1))
epoch = 10000
lr = 0.002
for epoch in range(epoch):
    with tf.GradientTape() as tape:
        y = tf.matmul(x, w1)
        loss = tf.reduce_sum(tf.where(tf.greater(y, y_), (y - y_) * COST, (y_ - y) * PROFIT))
    grads = tape.gradient(loss, w1)
    w1.assign_sub(lr * grads)
    if epoch % 500 == 0:
        print("After %d training steps,w1 is " % (epoch))
        print(w1.numpy(), "\n")
print("Final w1 is: ", w1.numpy())
# 自定义损失函数
# 酸奶成本1元， 酸奶利润99元
# 成本很低，利润很高，人们希望多预测些，生成模型系数大于1，往多了预测

結果：

つまり、テンソルフローに付属する損失関数をフルに使用しなくても、目的の損失関数を自分で定義できるため、柔軟性と実用性が向上します。

参考リンク：

https://baike.baidu.com/item/%E4%BA%A4%E5%8F%89%E7%86%B5/8983241?fr=アラジン

おすすめ