As legendas físicas geralmente se referem ao texto embutido no vídeo, que não pode ser removido por software de edição e reprodução. Se você deseja extrair e traduzir legendas de vídeo e, finalmente, sintetizar vídeo, provavelmente precisará usar OCR, restauração de vídeo, tradução, simplificação de frases, cálculo de layout de vídeo, áudio e vídeo e outras tecnologias. Com a popularidade da inteligência artificial AI em 2023, existe algum produto que possa usar essas tecnologias de forma abrangente para extrair diretamente as legendas do vídeo e executar o software de tradução e síntese? Hoje, o editor vai analisar os problemas aqui e recomendar um produto que pode realmente resolver o problema de tradução de legendas de vídeo.

Todo o artigo está dividido nas seguintes partes

Definição de legendas físicas de vídeo
Princípios Técnicos e Dificuldades da Tradução Física de Legendas de Vídeo
Efeito de tradução de legendas de vídeo hard
Tutorial para traduzir legendas de vídeo hard
Como modificar as legendas hard traduzidas?
Método de ajuste para estilo inconsistente e tradução imprecisa após extração de legenda difícil
Quais idiomas são suportados para traduzir legendas de vídeo?

1. Definição de legendas de vídeo

As legendas físicas também são chamadas de legendas incorporadas, legendas incorporadas, legendas incorporadas, etc. Geralmente, o texto das legendas são as legendas que foram incorporadas ao filme. O texto desse tipo de legenda não é mais um texto, mas uma imagem, não possui um arquivo de legenda separado e os usuários não podem usar ferramentas de edição ou reprodução para excluir essa opção. Essas legendas não podem ser alteradas ou completamente removidas.

2. Princípios e dificuldades da tecnologia de tradução de legendas de vídeo

O processo técnico de extração e tradução de legendas físicas de vídeos é o seguinte:

Análise de vídeo e extração de legendas: Use ferramentas de análise de vídeo ou bibliotecas de código aberto para extrair arquivos de legendas de vídeos. As legendas físicas geralmente são salvas como informações de pixel em arquivos de vídeo e as legendas não podem ser desativadas ou ocultadas. Envie arquivos de vídeo para o mecanismo de reconhecimento OCR ou API para converter informações de pixel em informações de texto.
Reconhecer texto com a ajuda da tecnologia OCR: A tecnologia OCR pode reconhecer informações de texto em legendas e, em seguida, convertê-las em formato de texto. O mecanismo de OCR criará um conjunto de dados de legenda para identificar possíveis caracteres especiais, como sinais de pontuação, símbolos especiais, cores de fonte e letras maiúsculas nas legendas. A dificuldade aqui é a extração de estilo.
Traduzir legendas: use modelos de idioma como ChatGPT para tradução automática. A API de tradução automática pode ser usada para passar o texto da legenda extraído para o mecanismo de tradução e retornar o resultado da tradução para o aplicativo. A dificuldade aqui é a precisão da tradução.
Substituição e integração de legendas: incorpore legendas traduzidas na timeline do vídeo e gere novos arquivos de legendas. (srt, ass e outros formatos). A dificuldade aqui é restaurar o vídeo e remover as legendas originais.
Correspondência de arquivos de áudio com legendas: Use ferramentas de processamento de áudio para sincronizar as legendas no vídeo com os arquivos de áudio, mantendo-os consistentes e eliminando quaisquer discrepâncias de tempo. As dificuldades são cálculos de espaço e layout, síntese de várias fontes.
Gere arquivos de vídeo traduzidos: Reúna arquivos de áudio e vídeo sincronizados e gere arquivos de vídeo traduzidos.

Todo o processo técnico pode ser automatizado, e o componente controlável é o processo de processamento de linguagem natural por meio de OCR e ChatGPT API.

3. O efeito da tradução de legendas de vídeo

O seguinte é o efeito real do software de tradução automática da Guishou Editing

O GhostCut usa o OCR para identificar as "legendas" no vídeo original e gerar o texto traduzido. Ao mesmo tempo, ele usa a restauração de vídeo AI para remover as legendas do vídeo original e, em seguida, cola novamente as legendas traduzidas de volta nas legendas originais, e manter as legendas originais tanto quanto possível. O tamanho, cor, tipo de placa, etc. Em comparação com o uso de uma variedade de softwares de edição e tradução, os recursos da tradução de vídeo do Guishou Editing são: totalmente automático, um clique para remover o texto original e manter o formato de texto de vídeo original.

4. O processo operacional de tradução de legendas de vídeo

Ele suporta apenas operações no telefone celular e as etapas de operação específicas são as seguintes:

Abra o aplicativo de chat, procure o applet "Ghost Hand Editing" para entrar;
Clique em [Traduzir texto do vídeo], carregue o vídeo no álbum do celular, selecione o tipo de idioma original no vídeo [chinês ou inglês] e selecione o tipo de idioma de tradução de destino [inglês ou chinês];
Verifique as opções, clique em Enviar e aguarde alguns minutos para que seu vídeo seja traduzido.
Confira o trabalho na lista de trabalhos e faça o download.

5. Como modificar as legendas traduzidas?

A tradução de legendas de vídeo agora suporta o ajuste do texto traduzido, se você acha que a tradução

O texto da cena impreciso ou mal traduzido pode ser ajustado das seguintes maneiras:

1. Clique no trabalho no applet, há uma opção "Ajustar tradução de vídeo"

2. Depois de clicar, você pode visualizar trabalhos novos e antigos e editar legendas em lotes ao mesmo tempo.

3. Depois de entrar, você pode ver a área de legenda de edição, clique para entrar e você pode ajustar o copywriting.

Ao ajustar a cópia, preste atenção a:

1. O estilo não mudará;

2. Preste atenção ao comprimento do texto, se for muito longo, ele irá quebrar automaticamente;

3. Você também pode alterar manualmente a linha na área traduzida;

Pontas:

Se você achar que os estilos de duas linhas consecutivas são inconsistentes, você pode excluir uma linha e concentrar o copywriting em uma linha para processamento.

editar imagem de pesquisa

6. Método de ajuste para estilo inconsistente e tradução imprecisa após extração de legenda difícil

Pode haver muitos problemas no vídeo de tradução automática, incluindo o estilo de legenda da mesma linha sendo separado, tradução imprecisa e estilos inconsistentes de telas diferentes. Para os problemas de estilo e tradução da mesma tela, você pode ter as seguintes dicas:

1. Suponha que o estilo do vídeo original seja o seguinte

2. Problemas após extração e tradução automáticas: tradução imprecisa e tamanho de fonte inconsistente

3. A solução, no editor de legendas,

Mesclar texto de várias linhas (linha 1 e linha 2 mescladas)
Excluir linhas redundantes; (excluir linha 2)
Quebre manualmente a linha na cópia da tradução mesclada, conforme mostrado na figura abaixo

4. O efeito final

Não é simples?

Quais idiomas são suportados para traduzir legendas físicas em vídeos?

Idioma original do vídeo: chinês/inglês, etc.

Idiomas-alvo traduzidos: chinês/inglês/japonês/indonésio/português/francês/espanhol/hindi/árabe/vietnamita/tailandês/alemão/russo/turco/italiano/vietnamita

Bem, este é o suporte técnico relevante e o processo de produto de tradução de legendas físicas compilado pelo editor para você. Bem-vindo a todos para experimentá-lo. Eu escrevi tanto, vale a pena sua atenção cuidadosa?

Dificuldades, processos e novidades na tradução de legendas de vídeo hard