간단한 번역 시스템에서
오늘 블로거는 자연어 번역 시스템의 설계에 대해 배웠습니다.
블로거는 이 번역 시스템을 공유할 것입니다. 일반적인 딥러닝 번역 작업과는 다른 이 아이디어를 들어본 적이 없는 분들이 많을 것입니다.
이 번역 시스템 설계에서 번역 작업은 두 개의 큰 모듈로 나뉩니다.
(1) 첫 번째 모듈은 먼저 번역해야 할 문장을 단어로 나누는 것인데, 이는 단어 분할 작업입니다. 중국어에서는 단어 분할이 필요하지만 일부 언어에서는 단어 분할이 필요하지 않을 수 있습니다.
그런 다음 단어 분할 후 단어 대 단어 번역을 수행합니다.즉, 중국어를 영어로 번역하려면 중국어 단어를 분할한 후 먼저 각 단어를 해당 단어로 번역합니다. 이 단계를 달성하기 위해 작업은 첫 번째 모듈이 완료되었습니다.
(2) 두 번째 모듈은 단어 순서가 서로 다른 언어 간에 종종 일치하지 않기 때문에 번역된 단어를 중국어의 해당 위치에 따라 직접 연결할 수 없다는 점을 고려하는 것입니다. 그래서 본 시스템에서는 번역된 모든 단어를 무작위로 이어붙이는 조합법을 사용하고, 이어붙인 모든 문장의 어순이 맞을 확률을 계산하여 확률이 가장 높은 것을 최종적으로 선택한다. 번역된 문장.
블로거가 이 번역 시스템 디자인을 본 것은 이번이 처음이지만 계획으로 볼 때 여전히 실현 가능합니다.
첫 번째 모듈에서는 사전 번역을 통해 해결할 수 있지만 일반적으로 이런 종류의 문제는 사전을 통해 해결할 수 있지만 기계 학습 방법을 사용하면 사전 번역보다 나을 수 없습니다.
두 번째 모듈에서는 Hidden Markov 모델 및 Naive Bayes 모델과 같은 일부 확률 모델을 통해 이를 구현할 수 있습니다. 물론 딥러닝의 일부 모델도 가능해야 합니다.
이 마지막 시스템에서는 첫 번째 모듈의 단점으로 인해 번역 중에 단어 누락, 여러 단어 등의 문제가 발생할 수 있으며 번역이 너무 경직될 수 있습니다. 번역된 문장 전체의 내용을 고려할 수 없으며, 이와 같은 요인으로 인해 많은 문제가 발생할 것입니다.