반응형 [논문 리뷰] Bidrectional Transformers for Language Understanding(BERT) 논문 제목 : BERT : Pre training of Deep Bidirectional Transformers for Language Understanding 2번째로 게시할 글 역시 구글에서 발표한 논문이다. 논문제목에서 나와있는 Transformer는 첫 번째 게시글인 attention is all you need의 모델 이름이다. 즉 attention is all you need의 논문을 참조한 논문이며 Bidrectional(양방향)으로 language를 학습한 논문이다. 또한 당시 language 모델에서 가장 좋은 성능을 보였던 ELMo, OpenAI GPT를 겨냥한 논문으로 보인다. 1. 배경 BERT : Bidirectional Encoder Representations from Tran.. 2019. 12. 4. 이전 1 다음 반응형
