官方文档:http://www.statmt.org/moses/?n=Moses.Baseline
官方文档只列出保留长度范围内的数据,但是对于clean-corpus-n.perl其他功能还没有列出。比如去除源端目标端句子比例超过5的平行句子,因为源端目标端句子比例相差过大可能就不平行了,因此需要去掉。
一条完整的命令如下:
perl mosesdecoder/scripts/training/clean-corpus-n.perl -ratio 3 test en cn test.clean 1 1000
说明:
- 这里输入的文件是已经tokenize过的
- 保留句子比例小于等于3,并且长度在1-1000的平行句子,也就是去除空行( <=3)
- 输入文件名是test.en 和 test.cn
- 输出文件名为test.clean.en 和 test.clean.cn