ValueError：予想ターゲットサイズ（64、31）、（[64、63]）torch.Sizeを得

PRED-ESTI紹介

Preictor-推定品質評価モデルは、2つの神経のモデルを含む、神経の二つの段階です。

• 予測値：単語予測、トレーニングのための追加の大規模な並列コーパスの利用
• 推定：品質評価、パラレルコーパス（QEデータ）のトレーニングを使用してマークされた質量

問題

推定モデルを訓練して、このような問題が発生しています：

これはあるpred_tagsし、tags異なる寸法。

図に示すとおりwmt19を与えられた文書データで使用される標識されたタグが含まれるMT tagsとGap tags、タグの唯一の予測しばらくMT tags

pred_tags = [1, 0, 0, 0, 0, 0, 1, 0, 0]		#	OK:0;BAD:1
tags = [BAD, BAD, OK, BAD, BAD, OK, OK, OK, OK, OK, OK, OK, OK, BAD, OK, BAD, OK, OK, OK]

ソリューション

# path_tags：MT tags + Gap tags
# path_target_tags：生成的MT tags
path_tags = "openkiwi/data/WMT19/wordsent_level/dev.tags"
path_target_tags = "openkiwi/data/WMT19/wordsent_level/dev.target_tags"

def target_tags(path1, path2):
    with open(path1, "r") as file:
        for line in file:
            array = line.strip().split(" ")[1::2]
            string = ' '.join(array)
            with open(path2, "a") as f:
                f.write(string + '\n')

target_tags(path_tags, path_target_tags)

pred_tags = [1, 0, 0, 0, 0, 0, 1, 0, 0]		#	OK:0;BAD:1
target_tags = [BAD, BAD, OK, OK, OK, OK, BAD, BAD, OK]