2023-01-04 AI입문12
0. 기계번역의 연혁 1. Seq2Seq 모델 인코더와 디코더로 구성되며, 인코더에서 context를 디코더로 전달한다. 인코더와 디코더 모두 RNN을 활용했다. 인코더의 마지막 은닉층의 출력값을 context로 활용한다. 가. Seq2Seq 문제점 Seq2Seq 모델에서 사용하는 context는 입력 시퀀스의 크기와는 상관없이 크기가 고정되어 있다. 또한 가장 마지막 은닉벡터의 출력값의 context로 사용한다. 이에 2가지 문제점이 나타난다. 나. 해법 모든 단어를 평등하게 고려하여 … 더 읽기