1. La salida de la última capa del modelo BertModel es el estado oculto original sin utilizar ningún encabezado específico.
En comparación con BertModel, BertForPreTraining tiene dos encabezados de clasificación más, uno es el encabezado de clasificación relacionado con [CLS] durante el preentrenamiento del modelo Bert y el otro es el encabezado de clasificación que predice la relación entre dos oraciones durante el preentrenamiento.
Podemos ver los nombres de los parámetros de cada capa de los modelos BertModel y BertForPreTraining imprimiéndolos, de la siguiente manera:
1. Descargue el código bert-base-uncased del sitio web oficial de huggingface al local
2. Inicialice los modelos BertModel y BertForPreTraining e imprima la información de la capa de cada modelo.
config = BertConfig.from_pretrained('E:/研究生学习/我的项目/CLMLF-main/bert-base-uncased')
model = BertForPreTraining.from_pretrained('E:/研究生学习/我的项目/CLMLF-main/bert-base-uncased', config=config)
model = BertModel.from_pretrained('E:/研究生学习/我的项目/CLMLF-main/bert-base-uncased')
for name,param in model1.named_parameters():
print(name)
for name,param in model2.named_parameters():
print(name)3. Los resultados de salida son los siguientes
(1).Resultado de salida de BertForPreTraining
bert.embeddings.word_embeddings.weight
bert.embeddings.position_embeddings.weight
bert.embeddings.token_type_embeddings.weight
bert.embeddings.LayerNorm.weight
bert.embeddings.LayerNorm.bias
bert.encoder.layer.0.attention.self.query.weight
bert.encoder.layer.0.attention.self.query.bias
bert.encoder.layer.0.attention.self.key.weight
bert.encoder.layer.0.attention.self.key.bias
bert.encoder.layer .0.atención.autovalor.peso
bert.encoder.capa.0.atención.auto.valor.bias
bert.encoder.capa.0.atención.salida.peso.denso
bert.encoder.capa.0.atención. salida.dense.bias
bert.encoder.capa.0.atención.salida.LayerNorm.peso
bert.encoder.layer.0.attention.output.LayerNorm.bias
bert.encoder.layer.0.peso.denso.intermedio
bert.encoder.layer.0.intermediate.dense.bias
bert.encoder.layer.0.output .dense.weight
bert.encoder.layer.0.output.dense.bias
bert.encoder.layer.0.output.LayerNorm.weight
bert.encoder.layer.0.output.LayerNorm.bias
bert.encoder.layer.1 .atención.auto.consulta.peso
bert.encoder.capa.1.atención.auto.consulta.bias
bert.encoder.capa.1.atención.auto.clave.peso
bert.encoder.capa.1.atención.auto. key.bias
bert.encoder.layer.1.attention.self.value.peso
bert.encoder.layer.1.attention.self.value.bias
bert.encoder.layer.1.attention.output.dense.weight
bert.encoder.layer.1.attention.output.dense.bias
bert.encoder.layer.1.attention.output.LayerNorm.weight
bert.encoder.layer.1.attention.output.LayerNorm.bias
bert.encoder.layer .1.codificador.bert.de.peso.denso.intermedio.capa.1.codificador.bert.de.sesgo.denso.intermedio.capa.1.codificador.bert.de.peso.denso.de.salida.capa.1.codificador.bert.de.bias.denso.salida
.
_
_
_ .capa.1.salida.LayerNorm.peso
bert.encoder.capa.1.salida.LayerNorm.bias
bert.encoder.capa.2.atención.auto.consulta.peso
bert.encoder.capa.2.atención.auto. query.bias
bert.encoder.layer.2.attention.self.key.weight
bert.encoder.layer.2.attention.self.key.bias
bert.encoder.layer.2.attention.self.value.peso
bert.encoder.layer.2.attention.self.value.bias
bert.encoder.layer.2.attention.output.dense.weight
bert.encoder.layer.2.attention.output.dense.bias
bert.encoder.layer .2.attention.output.LayerNorm.weight.bert.encoder.layer.2.attention.output.LayerNorm.bias bert.encoder.layer.2.intermediate.dense.weight.bert.encoder.layer.2.intermediate.dense
. _ sesgo bert.encoder.capa.2.salida.peso.denso bert.encoder.capa.2.salida.densa.bias bert.encoder.capa.2.salida.LayerNorm.peso bert.encoder.capa.2.salida. LayerNorm.bias bert.encoder.layer.3.attention.self.query.weight bert.encoder.layer.3.attention.self.query.bias bert.encoder.layer.3.attention.self.key.peso
bert.encoder.layer.3.attention.self.key.bias
bert.encoder.layer.3.attention.self.value.peso
bert.encoder.layer.3.attention.self.value.bias
bert.encoder.layer .3.atención.salida.peso.denso.codificador.bert.capa.3.atención.salida.sesgo.denso.codificador.bert.capa.3.atención.salida.CapaNorm.peso.codificador.bert.capa.3.atención
.
_
_ salida.LayerNorm.bias
bert.encoder.layer.3.peso.denso.intermedio.bert.encoder.layer.3.intermediate.dense.bias bert.encoder.layer.3.output.dense.weight.bert.encoder.layer
. _ 3.output.dense.bias bert.encoder.layer.3.output.LayerNorm.weight bert.encoder.layer.3.output.LayerNorm.bias bert.encoder.layer.4.attention.self.consulta.peso
bert.encoder.layer.4.attention.self.query.bias
bert.encoder.layer.4.attention.self.key.weight
bert.encoder.layer.4.attention.self.key.bias
bert.encoder.layer .4.atención.valor.propio.peso.capa.codificador.bert.4.atención.valor.propio.sesgo.capa.codificador.bert.4.atención.salida.peso.denso.capa.codificador.bert.4.atención
.
_
_ salida.dense.bias
bert.encoder.layer.4.attention.output.LayerNorm.weight
bert.encoder.layer.4.attention.output.LayerNorm.bias
bert.encoder.layer.4.intermediate.dense.weight
bert. capa.de.codificador.4.sesgo.denso.intermedio.capa.de.codificador.bert.4.peso.denso.de.salida.capa.de.codificador.bert.4.sesgo.denso.de.salida.capa.de.codificador.bert.4..capa.de.salida.peso.normativo
_
_
_
bert.encoder.layer.4.output.LayerNorm.bias
bert.encoder.layer.5.attention.self.query.weight
bert.encoder.layer.5.attention.self.query.bias
bert.encoder.layer.5 .atención.auto.clave.peso
bert.encoder.capa.5.atención.auto.clave.bias
bert.encoder.capa.5.atención.auto.valor.peso
bert.encoder.capa.5.atención.auto. value.bias
bert.encoder.layer.5.attention.output.dense.weight
bert.encoder.layer.5.attention.output.dense.bias
bert.encoder.layer.5.attention.output.LayerNorm.weight
bert. codificador.capa.5.atención.salida.LayerNorm.bias
bert.encoder.capa.5.peso.denso.intermedio.bert.encoder.capa.5.intermedio.denso.bias.bert.encoder.capa.5.salida.densa
_
_ .peso
bert.encoder.layer.5.output.dense.bias
bert.encoder.layer.5.output.LayerNorm.weight
bert.encoder.layer.5.output.LayerNorm.bias
bert.encoder.layer.6.attention.self .query.weight
bert.encoder.layer.6.attention.self.query.bias
bert.encoder.layer.6.attention.self.key.weight
bert.encoder.layer.6.attention.self.key.bias
bert .capa.codificador.6.atención.valor.propio.peso.capa.codificador.bert.6.atención.valor.propio.sesgo.capa.codificador.bert.6.atención.salida.peso.denso.capa.codificador.bert
.
_
_ 6.attention.output.dense.bias
bert.encoder.layer.6.attention.output.LayerNorm.weight
bert.encoder.layer.6.attention.output.LayerNorm.bias
bert.encoder.layer.6.intermediate.dense .peso
bert.encoder.layer.6.sesgo.denso.intermedio
bert.encoder.layer.6.output.dense.weight
bert.encoder.layer.6.output.dense.bias
bert.encoder.layer.6.output.LayerNorm .weight
bert.encoder.layer.6.output.LayerNorm.bias
bert.encoder.layer.7.attention.self.query.weight
bert.encoder.layer.7.attention.self.query.bias
bert.encoder.layer .7.atención.auto.clave.peso.bert.encoder.capa.7.atención.self.key.bias.bert.encoder.capa.7.atención.auto.valor.peso.bert.encoder.capa.7.atención
.
_
_ self.value.bias
bert.encoder.layer.7.attention.output.dense.weight
bert.encoder.layer.7.attention.output.dense.bias
bert.encoder.layer.7.attention.output.LayerNorm.peso
bert.encoder.layer.7.attention.output.LayerNorm.bias
bert.encoder.layer.7.peso.denso.intermedio
bert.encoder.layer.7.intermediate.dense.bias
bert.encoder.layer.7.output .dense.weight
bert.encoder.layer.7.output.dense.bias
bert.encoder.layer.7.output.LayerNorm.weight
bert.encoder.layer.7.output.LayerNorm.bias
bert.encoder.layer.8 .attention.self.query.weight.bert.encoder.layer.8.attention.self.query.bias
bert.encoder.layer.8.attention.self.key.weight.bert.encoder.layer.8.attention.self .
_
key.bias
bert.encoder.layer.8.attention.self.value.peso
bert.encoder.layer.8.attention.self.value.bias
bert.encoder.layer.8.attention.output.dense.weight
bert.encoder.layer.8.attention.output.dense.bias
bert.encoder.layer.8.attention.output.LayerNorm.weight
bert.encoder.layer.8.attention.output.LayerNorm.bias
bert.encoder.layer .8.capa.de.codificador.bert.de.peso.denso.intermedio.8.capa.de.codificador.bert.de.polarización.densa.intermedia.8.capa.de.codificador.bert.de.peso.denso.de.salida.8.codificador.bert.de.bias.densa.de.salida
.
_
_
_ .capa.8.salida.LayerNorm.peso
bert.encoder.capa.8.salida.LayerNorm.bias
bert.encoder.capa.9.atención.auto.consulta.peso
bert.encoder.capa.9.atención.auto. query.bias
bert.encoder.layer.9.attention.self.key.weight
bert.encoder.layer.9.attention.self.key.bias
bert.encoder.layer.9.attention.self.value.peso
bert.encoder.layer.9.attention.self.value.bias
bert.encoder.layer.9.attention.output.dense.weight
bert.encoder.layer.9.attention.output.dense.bias
bert.encoder.layer .9.attention.output.LayerNorm.weight.bert.encoder.layer.9.attention.output.LayerNorm.bias bert.encoder.layer.9.intermediate.dense.weight.bert.encoder.layer.9.intermediate.dense
. _ sesgo bert.encoder.layer.9.output.dense.weight bert.encoder.layer.9.output.dense.bias bert.encoder.layer.9.output.LayerNorm.weight bert.encoder.layer.9.output. LayerNorm.bias bert.encoder.layer.10.attention.self.query.weight bert.encoder.layer.10.attention.self.query.bias bert.encoder.layer.10.attention.self.key.peso
bert.encoder.layer.10.attention.self.key.bias
bert.encoder.layer.10.attention.self.value.peso
bert.encoder.layer.10.attention.self.value.bias
bert.encoder.layer .10.atención.salida.denso.peso.capa.codificador.bert.10.atención.salida.densa.bias.capa.codificador.bert.10.atención.salida.Capa.Norm.peso.bert.encoder.capa.10.atención
.
_
_ salida.LayerNorm.bias
bert.encoder.layer.10.intermediate.dense.weight.bert.encoder.layer.10.intermediate.dense.bias bert.encoder.layer.10.output.dense.weight.bert.encoder.layer
. _ 10.output.dense.bias bert.encoder.layer.10.output.LayerNorm.weight bert.encoder.layer.10.output.LayerNorm.bias bert.encoder.layer.11.attention.self.consulta.peso
bert.encoder.layer.11.attention.self.query.bias
bert.encoder.layer.11.attention.self.key.weight
bert.encoder.layer.11.attention.self.key.bias
bert.encoder.layer .11.atención.valor.propio.peso.capa.codificador.bert.11.atención.valor.propio.sesgo.capa.codificador.bert.11.atención.salida.peso.denso.capa.codificador.bert.11.atención
.
_
_ salida.dense.bias
bert.encoder.layer.11.attention.output.LayerNorm.weight
bert.encoder.layer.11.attention.output.LayerNorm.bias
bert.encoder.layer.11.intermediate.dense.weight
bert. capa.de.codificador.11.sesgo.denso.intermedio.capa.de.codificador.bert.11.peso.denso.de.salida.capa.de.codificador.bert.11.sesgo.denso.de.salida.capa.de.codificador.bert.11.peso.norm.de.capa.de.salida
_
_
_
bert.encoder.layer.11.output.LayerNorm.bias
bert.pooler.dense.weight
bert.pooler.dense.bias
cls.predictions.bias
cls.predictions.transform.dense.weight
cls.predictions.transform.dense.bias
cls.predictions.transform.LayerNorm.weight
cls.predictions.transform.LayerNorm.bias
cls.seq_relationship.weightcls.seq_relationship.bias
(2).Resultado de salida de BertModel
embeddings.word_embeddings.weight
embeddings.position_embeddings.weight
embeddings.token_type_embeddings.weight
embeddings.LayerNorm.weight
embeddings.LayerNorm.bias
encoder.layer.0.attention.self.query.weight
encoder.layer.0.attention.self.query. codificador
de polarización.capa.0.atención.auto.clave.peso
codificador.capa.0.atención.autoclave.codificador
de polarización.capa.0.atención.valor.propio.peso
codificador.capa.0.atención.auto. valor.bias
codificador.capa.0.atención.salida.densa.peso
codificador.capa.0.atención.salida.denso.bias
codificador.capa.0.atención.salida.LayerNorm.peso
codificador.capa.0.atención. salida.LayerNorm.bias
codificador.capa.0.peso.denso.intermedio
codificador.capa.0.sesgo.denso.intermedio
codificador.capa.0.salida.peso.denso
codificador.capa.0.salida.denso.biasaje
codificador.capa.0.salida.LayerNorm.peso
codificador.capa.0. salida.LayerNorm.bias
codificador.capa.1.atención.auto.consulta.peso
codificador.capa.1.atención.auto.consulta.bias
codificador.capa.1.atención.auto.clave.peso
codificador.capa.1. atención.self.key.bias
codificador.capa.1.atención.auto.valor.peso
codificador.capa.1.atención.auto.valor.bias
codificador.capa.1.atención.salida.denso.peso.codificador.capa
. 1.atención.salida.densa.bias.capa
del codificador.1.atención.salida.LayerNorm.peso
codificador.capa.1.atención.salida.LayerNorm.bias
capa.de.codificador.1.peso.denso.intermedio.capa.de.codificador.1.polarización.densa.intermedia.capa.de.codificador.1.peso.denso.de.salida.capa.de.codificador.1.sesgo.denso.de.salida.capa.de.codificador.1
.
_
_
_ salida.LayerNorm.peso
codificador.capa.1.salida.LayerNorm.bias
codificador.capa.2.atención.autoconsulta.peso
codificador.capa.2.atención.auto.consulta.bias
codificador.capa.2.atención. auto.clave.peso
codificador.capa.2.atención.auto.clave.bias
codificador.capa.2.atención.auto.valor.peso
codificador.capa.2.atención.auto.valor.sesgo
codificador.capa.2. atención.salida.denso.peso
codificador.capa.2.atención.salida.denso.biasaje
codificador.capa.2.atención.salida.CapaNorm.peso
codificador.capa.2.atención.salida.CapaNorm.bias
codificador.capa.2.peso.denso.intermedio.capa.codificador.2.bias.densa.intermedia.codificador.capa.2.salida.peso.denso.capa.codificador
.
_
_ 2.capa.2.del.codificador.de.sesgo.denso.de.salida.2.capa.2.del.codificador.de.peso.de.Capa.de.salida.capa.2..capa.2.del.codificador.de.biasidad.de.salida.capa.3.atención.autoconsulta.peso.del.codificador.capa.3.atención
.
_
_
_ capa.3 del
codificador de polarización
de consulta automática . atención.autovalor.sesgo.capa.3.del.codificador.atención.salida.denso.peso.capa.3.del.codificador.atención.salida.densa.sesgo _ _
codificador.capa.3.atención.salida.LayerNorm.peso
codificador.capa.3.atención.salida.LayerNorm.bias
codificador.capa.3.peso.denso.intermedio
codificador.capa.3.codificador.sesgo.denso.intermedio
. capa.3.salida.codificador.de.peso.denso.capa.3.salida.codificador.denso.bias.capa.3.salida.LayerNorm.peso codificador.capa.3.salida.LayerNorm.bias
codificador.capa.4.atención
. _ capa.4.del.codificador de peso.de.auto.consulta.capa.4.del.codificador.de.polarización.de.atención.de.auto.consulta.capa.4.atención.capa.4.del.codificador.de.peso.de.la.autoclave.atención.capa.4.del.codificador.de.polarización.de.auto.clave . _ atención.autovalor.peso codificador.capa.4.atención.autovalor.polarización codificador capa.4.atención.salida.peso.denso
codificador.capa.4.atención.salida.sesgo.denso
codificador.capa.4.atención.salida.LayerNorm.peso
codificador.capa.4.atención.salida.LayerNorm.bias
codificador.capa.4.intermedio.denso.peso
capa.de.codificador.4.sesgo.denso.intermedio.capa.de.codificador.4.peso.denso.de.salida.capa.de.codificador.4.sesgo.denso.de.salida.capa.4.de.codificador.capa.de.salida.peso.Norm.capa.de.codificador.4
.
_
_
_ salida.LayerNorm.bias
codificador.capa.5.atención.auto.consulta.peso
codificador.capa.5.atención.auto.consulta.bias
codificador.capa.5.atención.auto.clave.peso
codificador.capa.5. atención.auto.clave.bias.codificador.capa.5.atención.auto.valor.peso.codificador.capa.5.atención.autovalor.sesgo
_
_
codificador.capa.5.atención.salida.peso.denso
codificador.capa.5.atención.salida.denso.biasaje
codificador.capa.5.atención.salida.LayerNorm.peso
codificador.capa.5.atención.salida.LayerNorm Capa
de codificador de polarización 5. Capa
de codificador de peso denso intermedio 5 Capa de
codificador de polarización densa intermedia Capa 5 de codificador de peso denso de salida Capa de
codificador de polarización
densa de salida 5 5.capa
de codificador de peso de capa de salida.5.capa
de codificador de polarización de capa de salida.6.capa
de codificador de peso de autoconsulta
de atención.6.capa de codificador de polarización de atención.6. atención.auto.clave.peso
codificador.capa.6.atención.auto.clave.biasado
codificador.capa.6.atención.autovalor.peso
codificador.capa.6.atención.autovaloración.sesgo
codificador.capa.6.atención.salida.peso.denso
codificador.capa.6.atención.salida.densa.sesgo
codificador.capa.6.atención.salida.LayerNorm .codificador.de.peso.capa.6.atención.salida.CapaNorm.codificador.de.polarización.capa.6.codificador.de.peso.denso.intermedio.capa.6.codificador.de.polarización.densa.intermedia.capa.6.codificador.de.peso.denso.de.salida .
_ _ _ _ capa.6.codificador.de.sesgo.denso.capa.6.salida.LayerNorm.peso codificador.capa.6.salida.LayerNorm.bias codificador.capa.7.atención.auto.consulta.peso codificador.capa.7 . atención.autoconsulta.sesgo codificador.capa.7.atención.auto.clave.peso codificador.capa.7.atención.auto.clave.sesgo
codificador.capa.7.atención.auto.valor.peso
codificador.capa.7.atención.autovalor.sesgo
codificador.capa.7.atención.salida.densa.peso
codificador.capa.7.atención.salida.densa .bias
codificador.capa.7.atención.salida.LayerNorm.peso
codificador.capa.7.atención.salida.LayerNorm.bias
codificador.capa.7.peso.denso.intermedio
codificador.capa.7.intermedio.denso.bias
codificador.capa.7.salida.peso.denso
codificador.capa.7.salida.densa.polarización
codificador.capa.7.salida.LayerNorm.peso
codificador.capa.7.salida.LayerNorm.bias
codificador.capa.8. atención.auto.consulta.peso
codificador.capa.8.atención.auto.consulta.polarización.codificador.capa.8.atención.auto.clave.peso
_
codificador.capa.8.atención.auto.clave.bias
codificador.capa.8.atención.auto.valor.peso
codificador.capa.8.atención.autovalor.bias
codificador.capa.8.atención.salida.densa .codificador
de peso.capa.8.atención.salida.densa.bias.capa
de
codificador.8.atención.salida.LayerNorm.codificador de peso.capa.8.atención.salida.LayerNorm.bias
codificador.capa.8.intermedio.denso Capa
de codificador de peso 8 Capa de
codificador de polarización densa intermedia 8 Capa de
codificador de peso denso de salida Capa de
codificador de polarización densa de salida 8 Capa de
salida Capa de codificador de peso normal 8.output.LayerNorm.bias.capa
del codificador.9.atención.auto.consulta.peso.capa
del codificador.9.atención.self.consulta.bias
codificador.capa.9.atención.auto.clave.peso
codificador.capa.9.atención.auto.clave.bias
codificador.capa.9.atención.autovalor.peso
codificador.capa.9.atención.autovalor .capa
de codificador de polarización.9.capa
de codificador de peso denso de salida de atención 9.capa de codificador de peso
denso.capa de codificador de polarización densa 9.capa de codificador de peso denso 9.capa de salida de atención 9.capa de
codificador de peso normal 9.salida de atención .LayerNorm.codificador de
polarización.capa.9.codificador.de.peso.denso.intermedio.capa.9.codificador.de.polarización.densa.intermedia.capa.9.codificador.de.peso.denso.de.salida.capa.9.codificador.de.polarización.densa.de.salida . _ _ capa.9.salida.LayerNorm.peso codificador.capa.9.salida.LayerNorm.bias codificador.capa.10.atención.auto.consulta.peso
codificador.capa.10.atención.auto.consulta.bias
codificador.capa.10.atención.auto.clave.peso
codificador.capa.10.atención.auto.clave.bias
codificador.capa.10.atención.autovalor .capa.de.codificador.de.peso.10.atención.valor.propio.capa.de.codificador de polarización.10.salida.de.atención.capa.de.codificador.de.peso.denso.10.salida.de.atención.capa.de.codificador.de.polarización.densa.capa.10.salida.de.atención
_ _ .LayerNorm.peso codificador.capa.10.atención.salida.LayerNorm.bias codificador.capa.10.peso.denso.intermedio codificador.capa.10.codificador.intermedio.denso.biasado.capa.10.salida.denso.peso _ codificador.capa.10.salida.densa.bias codificador.capa.10.salida.LayerNorm.peso codificador.capa.10.salida.LayerNorm.bias
codificador.capa.11.atención.auto.consulta.peso
codificador.capa.11.atención.auto.consulta.bias
codificador.capa.11.atención.auto.clave.peso
codificador.capa.11.atención.auto.clave .capa.de.codificador de
polarización.11.atención.valor.propio.peso.capa.de.codificador.11.valor.de.atención.capa.de.codificador de polarización.11.salida.de.atención.codificador.de.peso.denso.capa.11.salida.de.atención .capa.de.codificador.de.dense.bias.11.atención.salida.LayerNorm.peso.capa.de.codificador.11.atención.salida.LayerNorm.bias.capa.de.codificador.11.peso.denso.intermedio.capa.de.codificador.11.denso.intermedio _ _ _ _ .capa.de.codificador.de.bias.11..peso.denso.de.salida.capa.de.codificador.11..capa.de.codificador.de.bias.densa.salida.11..peso.de.capa.de.salida.Norm . _ _
codificador.capa.11.salida.LayerNorm.bias
pooler.dense.weight
pooler.dense.bias
Al comparar los dos resultados de salida, se puede encontrar que BertForTraining tiene más capas que BertModel, a saber
cls.predictions.bias
cls.predictions.transform.dense.weight
cls.predictions.transform.dense.bias
cls.predictions.transform.LayerNorm.weight
cls.predictions.transform.LayerNorm.bias
cls.seq_relationship.weightcls.seq_relationship.bias
(3) Dado que el modelo BertForTraining tiene varias capas más que el modelo BertModel, podemos usar el siguiente código para hacer que las capas de BertForTraining y BertModel sean iguales, es decir, usando el contenido bert del objeto BertForTraining, solo podemos usar el Capas relacionadas con Bert en BertForTraining, las últimas capas de BertForTraining comienzan con cls y están relacionadas con la clasificación, no las usaremos.
config = BertConfig.from_pretrained('E:/研究生学习/我的项目/CLMLF-main/bert-base-uncased')
model1 = BertForPreTraining.from_pretrained('E:/研究生学习/我的项目/CLMLF-main/bert-base-uncased', config=config)
model1 = model1.bert # 只使用BertForPreTraining中与bert相关的层
model2 = BertModel.from_pretrained('E:/研究生学习/我的项目/CLMLF-main/bert-base-uncased')
# output = model1(inputs['input_ids'],inputs['attention_mask'])
for name,param in model1.named_parameters():
print(name)
for name,param in model2.named_parameters():
print(name)Al ejecutar se descubre que los resultados de salida de los dos son consistentes.