学习笔记(23)- plato-准备中文语料

以plato使用的metalwoz数据集的INSURANCE为例,进行语料的汉化过程。

1. 下载数据集

微软的数据集,下载地址:https://www.microsoft.com/en-us/research/project/metalwoz/

2. 将语料翻译成中文,并分词

先是使用了有道云的翻译接口,调用几百次之后,被封了不能用。

随后换了百度云的通用翻译接口,免费的。

代码见:https://github.com/xuehuiping/metalwoz_zh

参考:
文档 http://api.fanyi.baidu.com/doc/21
申请开发者 http://api.fanyi.baidu.com/api/trans/product/desktop?req=developer

3. 解析语料到csv格式

将txt文件转化为csv文件

使用plato提供的工具

3.1 编写yaml文件

plato/example/config/parser/Parse_MetalWOZ.yaml
指明txt文件路径,即上述翻译到中文并分词之后的文件。

---

package: plato.utilities.parser.parse_metal_woz
class: Parser
arguments:
  data_path: /Users/huihui/data/metalwoz-v1/dialogues/SHOPPING.txt

3.2 执行转换

plato parse --config Parse_MetalWOZ.yaml

解析之后的文件在data/metalwoz.csv

4. 结束

用这个csv文件,就可以训练模型了

扫描二维码关注公众号,回复: 9324387 查看本文章

猜你喜欢

转载自www.cnblogs.com/xuehuiping/p/12344341.html
今日推荐