调优日志

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014665013/article/details/83309191

baseline文件：
run_rc_model_att.py
run_shuffle_everyepoch.py

调参策略:

• baseline: 每个epoch都shuffle run_shuffle_everyepoch.py( epoch 3 71.62) run_shuffle_everyepoch2.py （71.61）
• 添加tensorboard观察loss
• 修改dropout的值 run_shuffle_everyepoch_dropout_0_5.py run_shuffle_everyepoch_dropout_0_5.2.py +0.3（71.9）
  run_shuffle_everyepoch_dropout_0_9.py(epoch 5 71.34) run_shuffle_everyepoch_dropout_0_5.py(epoch 5 71.15)
• query 和 passage长度调整
• 字向量卷积filter 个数和height
• hidden size 调整 目前是150 base里面是100 run_shuffle_everyepoch_hidden_100.log (epoch 71.61) run_shuffle_everyepoch_hidden_100.2.log (epoch 71.46)
• 修改最后几层的dense网络，尝试激活函数 run_shuffle_everyepoch_dense_decrease.py run_shuffle_everyepoch_dense_decrease.2.py 基本无效
• 设置lstm 和cnn是否共享参数
• cos 学习率衰减 run_shuffle_everyepoch_summary.log (epoch 5 71.91) run_shuffle_everyepoch_summary.2.log (epoch 71.84)
• 停用词试验：
  • 简单去除标点符号
  • 去除标点和 的 了 吗 这样的词 语气词run_shuffle_everyepoch_stopwords.log (epoch 5 71.24) run_shuffle_everyepoch_stopwords.2.log(epoch 4 71.47)
  • 使用停用词表
• 分词，使用百度的分词方法，使用jieba分词配合该词表 run_shuffle_everyepoch_userdict.log (epoch 4 71.55) run_shuffle_everyepoch_userdict.2.log(epoch 4 71.13)
• highway_network cnn卷积窗口1 run_shuffle_everyepoch_height_1.log (epoch 4 71.89) run_shuffle_everyepoch_height_1.2.log(epoch 71.69)
• word embedding:
  • word embedding 初始化非0 run_shuffle_everyepoch_rank_initial_embedding.log (epoch 5 71.51) run_shuffle_everyepoch_rank_initial_embedding.1.log (epoch 71.22)run_shuffle_everyepoch_rank_initial_embedding.2.log (epoch 4 70.68 ) run_shuffle_everyepoch_rank_initial_embedding.3.log(epoch 4 71.30)
  • 观点态度词分词字典制作
  • 使用sg公司分词模型进行分词
  • embedding dropout run_shuffle_everyepoch_dropout_embedding.log (epoch 6 71.94) run_shuffle_everyepoch_dropout_embedding.2.log(epoch 4 72.16 epoch 5 72.11)
  • embedding 后面添加可以trainable的向量 run_shuffle_everyepoch_add_word_embedding_trainable.py (epoch 4 70.66) run_shuffle_everyepoch_add_word_embedding_trainable.2.log (epoch 3 70.59)
  • 对最好的模型再设置为trainable看结果
  • 使用100维的词向量和字向量，分开使用run_shuffle_everyepoch_char100_word100.log (epoch 6 69.28)run_shuffle_everyepoch_char100_word100.2.log(epoch 7 69.09)
• normalization:
  • qanet layer normalization
  • qanet unshared layer normalization
  • lcn layer normalization
  • lcn unshared layer normalizaion
• 重新train词向量：
  • 增加单词 数字
• 添加情感词典到词语后面情感词典
• 数据增强：
  • 用cb师兄增强数据方案 1
  • 调整句子顺序 2
• 使用baseline里面的embedding的方式
  • 在embedding后面添加态度词词向
• 单模型训练区分某一类，比如对不确定像单模型预测，最终进行模型融合
• dropout 和batchnormal
• 修改attention部分，使用baseline 里面的attention
• 修改为常规动态修改学习率 3

融合以上提分点结果： 4