机器翻译–Moses脚本进行数据处理，Bleu值计算
数据预处理包括标点规范化，分词，大小写字母等；Blue值计算使用perl直接计算。
Moses
这是一个很强大的数据预处理工具，虽然已经用了很多年了，但现在依然非常流行。
github地址，主要使用里面的perl脚本进行数据预处理。确保电脑上已经安装配置好了perl（ubuntu自带）。
很多人做数据预处理都会用到BPE算法，30000个子词几乎可以表示词典中所有的单词。但是如果我们要用词级别的翻译，那词典太大了，在机器翻译中词典受限的情况下，很多词就会变为未登录词。为了让词典尽可能的能囊括更多的单词，可以对双语语料进行预处理操作。
中文的预处理好做很多，除了分词，可做的就不多了，但是英文的预处理就变得繁琐了很多，英文的标点符号和单词之间是没空格分隔的，所以如果直接对英文按照空格进行分词，big和big.就可能占据词典中两个词的位置。
下面数据预处理包括标点规范化，分词，大小写字母等等。
Normalize punctuation
标点规范化
perl dir_name/mosesdecoder/scripts/tokenizer/normalize-punctuation.perl -l en < data/train.en > data/train.norm.en
-l en是选择语言，同样例如德语：de等等。
同样的操作应用于验证集和测试集。
Tokenizer
分词，并且应用于验证集和测试集。如果文本已经分好词了，可以省去。
perl dir_name/mosesdecoder/scripts/tokenizer/tokenizer.perl -a -l en < data/train.norm.en > data/train.norm.tok.en
Clean corpus
数据集中过长的句子删掉。例如设置有效长度在1~512个单词之间。
perl path/to/mosesdecoder/scripts/training/clean-corpus-n.perl data/train.norm.tok en de data/train.norm.tok.clean 1 512
这样会同时对英德进行操作，生成两个处理后的文件train.norm.tok.clean.en和train.norm.tok.clean.de。
Truecase
Truecase不同于lowercase，lowercase相当于把数据中所有的字母小写，而truecase则会学习训练数据，判断句子中的名字、地点等需要大写的内容并将其保留，其余则小写，提升翻译时候的准确性。
- 需要训练一个truecase模型。注意：只能使用训练集训练truecase模型。
perl path/to/mosesdecoder/scripts/recaser/train-truecaser.perl -corpus data/train.norm.tok.clean.en -model path/to/truecase-model.en
- 应用apply：将训练得到的英语truecase模型应用到训练集、校验集和测试集的英文上。
perl dir_name/mosesdecoder/scripts/recaser/truecase.perl -model path/to/truecase-model.en < data/train.norm.tok.clean.en > data/train.norm.tok.clean.tc.en
同样德语也需要训练一个truecase模型。
BPE
这是subword mt的一种思想，将单词进行bpe编码，来自论文《Neural Machine Translation of Rare Words with Subword Units》，代码：https://github.com/rsennrich/subword-nmt
bpe将原有的单词拆解成了更小单元的高频词进行翻译，有效的解决了未登录词的问题。
我们使用里面的python脚本对数据进行处理。
- 同样需要对英语和德语进行学习bpe模型。
python path/to/subword_nmt/learn_bpe.py -s 10000 < data/train.norm.tok.clean.tc.en > data/codes.en
-s 后接着的是bpe operations操作的次数，这里设置为10000。同样只对训练集进行训练
- apply：在训练集、校验集和测试集上进行应用。
python path/to/subword_nmt/apply_bpe.py -c data/codes.en < data/train.norm.tok.clean.tc.en > data/train.pre.en
【注意】翻译的时候使用的数据均是经过bpe编码的，因此翻译得到的result也是bpe后的，因此需要对result进行还原，还原回bpe之前的（即norm、tok、clean、tc处理后的）状态,再用它和bpe之前的 test.norm.tok.clean.tc.xxx 计算bleu值。
还原的方法：
cat result.bpe.de | sed -E 's/(@@ )|(@@ ?$)//g' > result.de
在ubuntu上不需要安装sed，windows需要。
BLEU 值的计算：
perl multi-bleu.perl test.norm.tok.clean.tc.de < result.de