Clique no algoritmo de inteligência artificial acima e big data Python para obter mais produtos secos
No canto superior direito ... Defina como uma estrela ★, obtenha recursos na primeira vez
Somente para compartilhamento acadêmico, caso haja alguma infração, favor entrar em contato para excluir
Reproduzido de: Xinzhiyuan
Veja, uma flor azul está desabrochando lentamente, e as camadas de pétalas são como as ondas do oceano.
O momento em que outra flor roxa desabrocha também é muito bonito.
Mas a verdadeira beleza dessas imagens não são as flores, mas a lente da câmera que as capturou.
Essa lente na mão, é assim.
Uma folha quadrada muito pequena e muito pequena, o comprimento lateral é provavelmente a largura de várias impressões digitais!
Há ainda mais exagerados.
Lentes ópticas tradicionais, como o iPhone X da Apple, têm uma longa lente traseira.
Olhando mais de perto, existem várias camadas de lentes empilhadas em uma lente traseira.
Portanto, esses componentes ópticos de grande porte são pesados e ocupam muita área.
Ou use esta pequena folha quadrada para comparar com uma câmera tradicional equipada com uma lente refrativa composta de grande volume?
O resultado é incrível!
Na fotografia microscópica, o grau de redução dessa pequena folha ao objeto não é inferior ao de uma pilha de lentes, e a imagem é ainda mais brilhante.
Na filmagem de grande angular, essa pequena fatia não conseguiu competir com a câmera tradicional de grande porte, mas o contorno do prédio foi restaurado.
Esta pequena folha é chamada de "Nano-Óptica Neural", nome científico "óptica de metasuperfície", que significa óptica de metasuperfície.
Você viu a parte branca no meio? Sim, este é o dispositivo de imagem.
Apenas do tamanho de um grão de sal grosso!
Em termos de efeitos de imagem, os pesquisadores disseram que "Neural Nano-Optics" e a lente Edmund Optics 50mm F2.0, que é 500.000 vezes maior, podem ser comparáveis em muitas cenas (não o que eu disse, mas a par com o original texto).).
Quão incrível é a pequena câmera?
Nas últimas décadas, a miniaturização de elementos fotossensíveis permitiu que as câmeras fossem usadas em uma ampla variedade de campos, incluindo imagens médicas, smartphones, robótica e direção autônoma.
No entanto, se os geradores de imagens ópticas puderem ser uma ordem de magnitude menores do que são hoje, isso poderá abrir muitas novas aplicações em nanorobótica, imagens in vivo, realidade aumentada/virtual e monitoramento de saúde.
Recentemente, pesquisadores de Princeton propuseram o primeiro dispositivo de imagem óptica ultrapequeno de alta qualidade do mundo "Nano-Óptica Neural" e o publicaram na Nature Communications.
A câmera tem cobertura colorida (400 a 700 nanômetros), um amplo campo de visão de 40 graus e uma abertura F2.0.
Endereço do artigo: https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf
Endereço do projeto: https://github.com/princeton-computational-imaging/Neural_Nano-Optics
A "Nano-Óptica Neural" supera todos os designs de lente metasuperfície de última geração existentes e é o primeiro gerador de imagens ópticas de metasuperfície do mundo a obter imagens coloridas de campo amplo e de alta qualidade.
Uma metasuperfície é uma estrutura artificial ultrafina com uma espessura menor que o comprimento de onda, que pode controlar de forma flexível e eficaz as características de polarização, amplitude, fase, modo de polarização e modo de propagação da onda eletromagnética.
Normalmente, o tamanho físico dos componentes ópticos convencionais é grande.
Isso ocorre porque as lentes convencionais funcionam dobrando as ondas de luz. À medida que uma onda de luz passa pela lente, ela é refratada em diferentes ângulos em diferentes partes da lente.
Normalmente, os engenheiros empilham várias lentes individuais (chamadas lentes compostas) para direcionar e controlar a luz de maneiras específicas.
Uma lente convexa (convergente) típica dobra as ondas de luz para se encontrarem no ponto focal (Fonte: Mini Physics)
Como os sistemas de imagem convencionais devem consistir em uma série de elementos refrativos que corrigem as aberrações, essas lentes volumosas necessariamente tornam as câmeras mais restritivas.
Outro grande obstáculo da imagem convencional é a dificuldade de reduzir a distância focal, o que resulta em maior aberração cromática.
As ópticas de metasuperfície interagem com a luz através de suas diferentes auto-estruturas, e o mesmo efeito pode ser obtido com uma camada muito fina de estrutura planar.
O problema de encolher a lente está resolvido, mas e o sensor?
De fato, sensores ópticos com pixels submicrométricos já existiam, mas seus efeitos de imagem são limitados pelas teorias ópticas tradicionais.
Portanto, simplesmente tornar o sensor pequeno não resolve completamente o problema. Devido às limitações de abertura e abertura, a qualidade da imagem obtida pelos sensores existentes com pixels submicrométricos é muito inferior à das câmeras ópticas de grande porte.
Então, como os pesquisadores de Princeton superaram essa dificuldade?
A resposta tem que ser IA!
Neste trabalho, os autores propõem a Nano-Óptica Neural, a superfície é apenas um pequeno dispositivo de imagem, mas por trás dele está uma estrutura de aprendizado profundo totalmente diferenciável, combinada com algoritmos de reconstrução de imagem baseados em recursos neurais e, em seguida, aprendem as propriedades da metasuperfície. A estrutura atinge uma ordem de magnitude menor erro de reconstrução do que SOTA.
Modelo Proxy Metasurface
Os autores aprendem usando uma função substituta diferenciável eficiente que mapeia valores de fase para um PSF espacialmente variável (PSF é a abreviação de função de espalhamento de ponto).
O modelo de formação de imagem de metasuperfície diferenciável proposto (Fig. e) consiste em três estágios sucessivos de operações de tensor diferenciáveis: determinação da fase da metasuperfície, simulação e convolução de PSF e ruído do sensor.
Em seu modelo, os coeficientes polinomiais que determinam a fase da metasuperfície são variáveis otimizáveis.
A função de fase de metasuperfície otimizável ϕ, com a distância r do eixo óptico como variável independente, é escrita como uma função da seguinte forma:
onde {a0,...an} são os coeficientes otimizáveis, R é o raio da máscara de fase e n é o número de termos polinomiais.
A metasuperfície é otimizada com base nessa função de fase, em vez de pixel a pixel, para evitar mínimos locais.
Ao comparar este método diferenciável Neural Nano-Optics com métodos alternativos de simulação direta (como simulação de domínio de tempo de diferença finita), a precisão dos dois é aproximada, mas o método diferenciável Neural Nano-Optics é mais preciso do que simulações de onda completa, como FTDT O método é 3000 vezes mais eficiente e mais eficiente em termos de memória.
Além destes, o framework diferenciável Neural Nano-Optics possui diversos destaques técnicos.
Deconvolução baseada em recursos
Para recuperar imagens de dados de medição, os autores propõem um método de deconvolução neural baseado em recursos que incorpora a priori aprendidas e pode generalizar para dados de teste não vistos.
Especificamente, o método emprega um filtro inverso diferenciável e uma rede neural para extração e refinamento de recursos. Essa abordagem é capaz de aprender recursos eficazes para alavancar o conhecimento do espectro de potência para melhorar a deconvolução baseada em física e, assim, melhorar a generalização.
Formalmente, as redes deconvolucionais de propagação de recursos fazem o seguinte:
A partir dos resultados, a capacidade de reconstrução da rede de deconvolução de propagação de características tem um salto qualitativo em relação aos métodos anteriores.
aprendizado de ponta a ponta
Armadas com proxies de metasuperfície e modelos de deconvolução neural, e um pipeline de imagem totalmente diferenciável, as nanocâmeras podem ser projetadas de forma completa.
Método de Aprendizagem e Processo de Otimização Correspondente de Nano-Óptica Neural de Estrutura Diferenciável
O processo de otimização de treinamento de ponta a ponta da Neural Nano-Optics é assim.
Diagrama esquemático de otimização de treinamento
Após o treinamento, imagens coloridas de alta qualidade podem ser obtidas usando o sistema Neural Nano-Optics.
Neural Nano-Optics pode gerar reconstruções de FOV amplo de alta qualidade em comparação com projetos de última geração existentes
Cancelamento de Aberração Cromática (DLAC)
Nenhuma das lentes meta-ópticas anteriores pode combinar simultaneamente as quatro características de grande abertura, amplo campo de visão, pequeno número f e grande largura de banda.
O design ultra-óptico otimizado permite que esta câmera ultracompacta alcance um nível sem precedentes, capaz de capturar imagens coloridas em um amplo campo de visão e atingir uma abertura máxima de 500 mícrons, que atualmente é a maior lente meta-óptica que pode aumentar o volume de coleta de luz.
Para quantificar formalmente as especificações do projeto, os pesquisadores propuseram uma nova métrica chamada Capacidade de Cancelamento de Aberração Cromática de Lente Difrativa (DLAC).
A Neural Nano-Optics mais uma vez teve uma ótima corrida, terminando em primeiro no 250 DLAC.
Aplicação de Nano-Óptica Neural
O advento da Nano-Óptica Neural tem o potencial de revolucionar câmeras, monitores e outros dispositivos ópticos.
Algumas aplicações potenciais interessantes incluem:
Os desenvolvedores de sistemas AR/VR/MR—XR ainda estão enfrentando os desafios de integrar grandes sistemas de hardware em fones de ouvido. A Neural Nano-Optics promete integrar pequenos componentes ópticos em fones de ouvido pequenos, leves e de alto desempenho e óculos inteligentes.
Medicina - A óptica aprimorada da Nano-Óptica Neural permite imagens de diagnóstico mais precisas do que nunca e também pode ser incorporada a ferramentas de imagem de alta resolução (como endoscópios) e novos microscópios, permitindo que radiologistas, internistas Médicos e técnicos de laboratório sejam capazes de ver detalhes anteriormente invisíveis.
Referências:
https://light.princeton.edu/publication/neural-nano-optics/
http://www.sim.cas.cn/xwzx2016/kjqy2016/202109/t20210901_6179216.html
https://www.nature.com/articles/s41467-021-26443-0
https://www.radiantvisionsystems.com/zh-hans/blog/going-meta-how-metalenses-are-reshaping-future-optics
---------♥---------
Declaração: Este conteúdo vem da Internet e os direitos autorais pertencem ao autor original
As imagens são provenientes da Internet e não representam a posição desta conta oficial. Se houver alguma infração, entre em contato para excluir
WeChat privado do Dr. AI, ainda há algumas vagas
Como desenhar um belo diagrama de modelo de aprendizado profundo?
Como desenhar um belo diagrama de rede neural?
Um artigo para entender várias circunvoluções no aprendizado profundo
Clique para ver o suporte
