어텐션 메커니즘에 대해서 알아보자 Attention어텐션 메커니즘이란 시퀸스 데이터 즉 순차적인 관계를 가진 데이터셋에 중요한 부분에 좀더 많은 가중치를할당하여 정보를 효율적으로 처리하는 기법이다. 예시로 자기소개를 시퀸스 데이터라고 친다면, 이름에 좀더 중요도를 넣고 싶으면 어텐션 메커니즘을 사용할 수 있다. 주로 자연어 처리와 시계열 데이터에서 사용된다. 기계 번역, 요약, 질의응답과 같이 매우 다양한 분야에서 좋은 성능을보여주고 있다.  동작 방식어텐션 메커니즘은 시퀸스의 각 요소에 중요도를 계산하여 가중치를 부여하는 방식으로 작동한다.이를 통하여 중요한 정보는 집중하고, 불피요한 정보는 드랍시킨다. Attention score는 Query*와 key*간의 유사정도를 측정하여 중요도를 계산하는 것이..