孪生网络
1. O que é uma rede gêmea (one-shot)
No reconhecimento facial, existe o chamado problema de one-shot. Por exemplo, o reconhecimento facial é realizado em funcionários da empresa. Cada funcionário tem apenas uma foto (porque há poucos exemplos de treinamento para cada categoria) e os funcionários saem e entram na empresa (não é realista treinar novamente o modelo toda vez que eles mudam) . Se for considerado um problema de classificação, não é viável treinar diretamente o modelo para reconhecimento facial em aplicações práticas.
A fim de resolver o problema one-shot, vamos treinar um modelo para produzir a similaridade de duas imagens dadas, para que o modelo aprenda a função de similaridade e julgue se elas pertencem à mesma pessoa, definindo um limite para a similaridade.
2. Significado da rede gêmea (one-shot)
(1) Redução de dados de treinamento O
aprendizado profundo requer uma grande quantidade de dados MNIST Para distinguir 10 categorias, são necessárias 60.000 imagens de treinamento e uma média de 6.000 imagens de treinamento é necessária para uma categoria. O One-Shot tenta reduzir as imagens de treinamento de uma categoria e reduzi-la a uma imagem em casos extremos
(2) Quando novas categorias de dados aparecem, não há necessidade de treinar novamente
redes neurais profundas tradicionais que não conseguem lidar com categorias que não não aparecem no conjunto de treinamento. Tome o ponto de entrada como exemplo, usando a rede neural profunda tradicional, cada novo funcionário entra em uma nova categoria e a rede neural profunda precisa ser retreinada. Se novos funcionários forem recrutados todos os dias, a rede deve ser retreinado todos os dias e o custo é muito alto. One-Shot learning pode ser aplicado a novas categorias de dados sem retreinamento
3. O princípio da rede gêmea (one-shot) A
rede neural tradicional tenta aprender a expressão de um determinada categoria de imagens.
One-Shot Learning tenta aprender diferentes imagens (pode
diferenciar entre
Dada uma imagem A e uma imagem B, converta A em um vetor de incorporação p e converta B em um vetor de incorporação q
Se A e B pertencem à mesma categoria, então esperamos que p e q sejam semelhantes
Se A e B não pertencem à mesma categoria, então queremos que p e q sejam diferentes
Medida de similaridade, distância euclidiana
4. Estrutura de rede de rede gêmea (one-shot)
Siamese Network有两个结构相同，且共享权值的子网络（同一个网络）。分别接收两个输入X1X1与X2X2，将其转换为向量Gw(X1)与Gw(X2)，再通过某种距离度量的方式计算两个输出向量的距离Ew。
Suponha que a imagem A e a imagem B sejam da mesma classe:
Suponha que a imagem A e a imagem B sejam de classes diferentes:
Estrutura da rede:
5. A função de perda da rede gêmea
Na rede neural gêmea (rede siamesa), a função de perda usada é a perda contrastiva, que pode efetivamente lidar com a relação de dados pareados na rede neural gêmea. A expressão da perda contrastiva é a seguinte
A distância euclidiana (duas normas) P representando os dois recursos de amostra X_1 e X2 representa a dimensão do recurso da amostra, Y é o rótulo se as duas amostras correspondem, Y=1 significa que as duas amostras são semelhantes ou correspondem, Y =0 então representa uma incompatibilidade, m é o limite definido e N é o número de amostras.
Quando Y=1 (isto é, quando as amostras são semelhantes), resta apenas a função de perda:
Quando as amostras são semelhantes, quanto menor o valor calculado pela distância D euclidiana, menor a função de perda.
Quando Y=0 (isto é, quando as amostras não são semelhantes), a função de perda é:
[Observe que uma margem limite é definida aqui, o que significa que consideramos apenas recursos diferentes cuja distância euclidiana está entre 0 e a margem. Quando a distância excede a margem, a perda é considerada 0 (ou seja, recursos diferentes estão distantes. , sua perda deve ser muito baixa; e para características semelhantes que estão distantes, precisamos aumentar sua perda, de modo a atualizar continuamente o grau de correspondência de amostras pareadas)]