반응형 [논문 리뷰] XLNet : Generalized Autoregressive Pretrainingfor Language Understanding 이번 논문은 구글 AI팀에서 발표한 논문으로 2019년 6월 발표 당시 20개 자연어 처리 부분 최고 성능을 기록한 논문이다. 19년 1월 나온 TRANSFORMER-XL: ATTENTIVE LANGUAGE MODELS BEYOND A FIXED-LENGTH CONTEXT 후속버젼의 논문으로 저자들 또한 완벽히 일치한다. 본 논문은 당시 최고 성능을 자랑하던 BERT보다 20개의 nlp task에서 더 좋은 성능을 보였으며 그중 18개 task에서 SOTA를 달성하였으며 기존 language model들이 갖고 있던 Autoregressive 한 특성을 유지, 다양한 context의 방향에서 학습한 모델을 구현하였다. 1. Introduction Pretraining method를 크게 2가지로 본다면 .. 2020. 2. 26. [논문 리뷰] Twitter mood predicts the stock market 이번 논문은 현시점(2020/02/13) 4404회의 인용된 논문으로 실시간 SNS인 twiitter 감정분석을 통해 대중의 감정을 분석하여 주식시장이 예측 가능한지에 대해 평가한 논문이다. 게시된 저널 : Journal of Computational Science 저자 : Johan Bollena, Huina Maoa( a School of Informatics and Computing, Indiana University의 교수) Article history : Received 15 October 2010 Abstract 행동 경제학에 따르면 감정이 행동과 의사 결정에 큰 영향을 준다고 한다. 본 논문에서는 위의 행동 경제학 이론이 사회 전체에 적용이 되는 것인지 만약 적용이 된다면 사회 전체의 감정,.. 2020. 2. 21. [논문 리뷰] Stock Market Prediction A Big Data Approach Girija V Attigeri , Manohara Pai M M, Radhika M Pai, Aparna Nayak Manipal Institute of Technology, Manipal- 576104, India 본 논문은 2015년 IEEE의 빅데이터를 활용해 주식시장을 예측하고자 하는 논문이다. 1. Introduction 주식 시장엔 Random walk theory라는 이론이 있다 주가는 랜덤하게 움직임 주가는 이미 반영될 수 있는 정보가 모두 반영됨 미래 주가는 랜덤하게 형성 투자자는 최대한 많은 양의 종목을 분산하여 장기간에 걸쳐 투자요망 이라는 이론이다. Random walk theory에 따르면 주가변동은 동일한 분포를 가지며 서로 독립하기 때문에 과거 주가, 시장의 움직임을 이용한 .. 2020. 2. 18. [논문 리뷰] Attention is all you need 논문 제목 : Attention is all you need 구글 브레인, 구글 리서치에서 쓴 논문으로 이 블로그의 첫 글을 쓰고자 한다. 논문 제목에 나오는대로 attention - 특정 정보(단어)에 좀 더 주의를 기울이면 된다는 논문이다. 예를들어 model이 수행해야 하는 task가 번역일 경우 source는 영어이고 target은 한국어일 때 “Hi, my name is tapseon.” 문장과 대응되는 “안녕, 내 이름은 탶선이야.”라는 문장이 있다. model이 '이름은' 이라는 token을 decode할 때, source에서 가장 중요한 것은 name이다 즉 source의 모든 token이 비슷한 중요도를 갖기 보다는 name이 더 큰 중요도를 갖게 만드는 방법이 attention이다. 1.. 2019. 12. 5. [논문 리뷰] Bidrectional Transformers for Language Understanding(BERT) 논문 제목 : BERT : Pre training of Deep Bidirectional Transformers for Language Understanding 2번째로 게시할 글 역시 구글에서 발표한 논문이다. 논문제목에서 나와있는 Transformer는 첫 번째 게시글인 attention is all you need의 모델 이름이다. 즉 attention is all you need의 논문을 참조한 논문이며 Bidrectional(양방향)으로 language를 학습한 논문이다. 또한 당시 language 모델에서 가장 좋은 성능을 보였던 ELMo, OpenAI GPT를 겨냥한 논문으로 보인다. 1. 배경 BERT : Bidirectional Encoder Representations from Tran.. 2019. 12. 4. 이전 1 2 3 4 다음 반응형
