반응형 [논문 리뷰] Attention is all you need 논문 제목 : Attention is all you need 구글 브레인, 구글 리서치에서 쓴 논문으로 이 블로그의 첫 글을 쓰고자 한다. 논문 제목에 나오는대로 attention - 특정 정보(단어)에 좀 더 주의를 기울이면 된다는 논문이다. 예를들어 model이 수행해야 하는 task가 번역일 경우 source는 영어이고 target은 한국어일 때 “Hi, my name is tapseon.” 문장과 대응되는 “안녕, 내 이름은 탶선이야.”라는 문장이 있다. model이 '이름은' 이라는 token을 decode할 때, source에서 가장 중요한 것은 name이다 즉 source의 모든 token이 비슷한 중요도를 갖기 보다는 name이 더 큰 중요도를 갖게 만드는 방법이 attention이다. 1.. 2019. 12. 5. [논문 리뷰] Bidrectional Transformers for Language Understanding(BERT) 논문 제목 : BERT : Pre training of Deep Bidirectional Transformers for Language Understanding 2번째로 게시할 글 역시 구글에서 발표한 논문이다. 논문제목에서 나와있는 Transformer는 첫 번째 게시글인 attention is all you need의 모델 이름이다. 즉 attention is all you need의 논문을 참조한 논문이며 Bidrectional(양방향)으로 language를 학습한 논문이다. 또한 당시 language 모델에서 가장 좋은 성능을 보였던 ELMo, OpenAI GPT를 겨냥한 논문으로 보인다. 1. 배경 BERT : Bidirectional Encoder Representations from Tran.. 2019. 12. 4. 이전 1 2 다음 반응형
