transformers里的AutoTokenizer之返回值token_type_ids(二)

在很多案例中,AutoTokenizer会返回token_type_ids这个结果:

 token_type_ids的解释:

对于两个句子对来说,上一句都标识为0,下一句都标识为1。

猜你喜欢

转载自blog.csdn.net/wtl1992/article/details/132046021