总结:阅读transformer结构的t5源代码的经验

1.用笔在纸上画出结构,哪一部分接着跟着哪一部分

因为t5总体的结构比较复杂,所以必须使用纸和笔画出结构之后,画出每一部位结构进行的操作,读代码的过程才会更清晰

2.把握关键的操作

比如在attention之中重点就是key和value对于原来值的更改,所以只有把握了重点语句的操作过程,才能明白原理。

3.熟悉代码的脉络流程之后,从外面往里面阅读

刚开始阅读代码的时候,按照顺序一句一句往下读,因为此时你不知道代码的整体结构。
当你熟悉代码的框架与构造之后,从外层往里面层阅读,先看外层对数据处理做了什么操作,再接着看下一层、下一层,一层一层地往里面去阅读,最终搞明白代码的内容

猜你喜欢

转载自blog.csdn.net/znevegiveup1/article/details/121591920
今日推荐