トランスフォーマーの AutoTokenizer の戻り値 token_type_ids (2)

多くの場合、AutoTokenizer は token_type_ids の結果を返します。

 token_type_id の説明:

2 つの文のペアの場合、前の文は 0 としてマークされ、次の文は 1 としてマークされます。