torch.nn.utils.rnn.pad_packed_sequence()的注意事项

提要

看了很多讲解pytorch如何处理RNN变长padding的博客,我自己也写了一篇。但大家都没有提到一个问题,就是torch.nn.utils.rnn.pad_packed_sequence()的参数问题。(其实也不是个问题,只是大家没有提到)

我当时在用ESIM模型做文本关系推理,git下来的代码就用到了变长处理(当时看了很久)。但会出现一个问题:比如我设定max_len的长度是200,也就是经过padding后所有的句子统一长度为200。当前batch中,如果最长的句子实际长为135,那,经过packed,没什么问题,然后经过model,也没问题。

问题在pad上,pad后的所有句子长度最大就只有135了,也就是说所有<135的句子会重新pad,pad到135,而不是原来的max_len=200。

ESIM模型需要输入两个句子,那么经过pad之后,这两个句子的长度可能就不同了,再后来计算attention的时候就发生了错误。

解决

其实没什么大不了的。。。就是漏了个参数,
total_length,把它设置成了max_lenth大小,就好了。

总结

只是想做个记录,技术含量并不高。

猜你喜欢

转载自blog.csdn.net/jokerxsy/article/details/107275238