Attention 메커니즘을 이해하기 위해 기본적으로 알고 있어야 할 RNN 구조와 LSTM 그리고 Seq2Seq는 간단하게만 작성 후 바로 본론으로 들어가겠습니다.기본 연산RNN이전 출력 값이 현재 결과에 영향을 미치는 계산 방식 (시퀀스 및 메모리 셀이라고도 불립니다.)현재의 은닉층 값 \(h_t\)은 input \(x_t\)와 직전 은닉층 \(h_{t-1}\)을 입력으로 받음\(W_{hh}\)와 \(W_{xh}\) 는 직전 은닉층의 \(x\)의 가중치 값(행렬)임이러한 구조를 통해 하이퍼볼릭 탄젠트를 활성화 함수로 계산을 함LSTM기존의 단방향 구조의 고질적 문제인 장기 기억 의존 문제를 해결하기 위해 제안된 방법 중 하나`Cell State`라는 방법으로 기억해야 할 중요한 가중치 값과 버려도 될..
