반응형 [논문 리뷰] Attention is all you need 논문 제목 : Attention is all you need 구글 브레인, 구글 리서치에서 쓴 논문으로 이 블로그의 첫 글을 쓰고자 한다. 논문 제목에 나오는대로 attention - 특정 정보(단어)에 좀 더 주의를 기울이면 된다는 논문이다. 예를들어 model이 수행해야 하는 task가 번역일 경우 source는 영어이고 target은 한국어일 때 “Hi, my name is tapseon.” 문장과 대응되는 “안녕, 내 이름은 탶선이야.”라는 문장이 있다. model이 '이름은' 이라는 token을 decode할 때, source에서 가장 중요한 것은 name이다 즉 source의 모든 token이 비슷한 중요도를 갖기 보다는 name이 더 큰 중요도를 갖게 만드는 방법이 attention이다. 1.. 2019. 12. 5. 이전 1 다음 반응형
