mosesdecoder中clean-corpus-n.perl脚本使用说明

官方文档:http://www.statmt.org/moses/?n=Moses.Baseline

官方文档只列出保留长度范围内的数据,但是对于clean-corpus-n.perl其他功能还没有列出。比如去除源端目标端句子比例超过5的平行句子,因为源端目标端句子比例相差过大可能就不平行了,因此需要去掉。

一条完整的命令如下:

perl mosesdecoder/scripts/training/clean-corpus-n.perl -ratio 3 test en cn test.clean 1 1000

说明:

  • 这里输入的文件是已经tokenize过的
  • 保留句子比例小于等于3,并且长度在1-1000的平行句子,也就是去除空行( <=3)
  • 输入文件名是test.en 和 test.cn
  • 输出文件名为test.clean.en 和 test.clean.cn

猜你喜欢

转载自blog.csdn.net/Answer3664/article/details/108304827