본문 바로가기
반응형

전체 글210

latex 분수 $${X \over \ Y}$$ 분자 X , 분모 Y {X \over \ Y} 2020. 3. 18.
CHAPTER 7 RNN을 사용한 문장생성 Language모델의 문장 생성 순서 확률이 가장 높은 단어 선택 결과 일정 확률적 선택 각 후보 단어의 확률에 맞게 선택 샘플링 되는 단어 매번 바뀜 확률분포 출력, 샘플링을 반복 import numpy as np def softmax(x): if x.ndim == 2: x = x - x.max(axis=1, keepdims=True) x = np.exp(x) x /= x.sum(axis=1, keepdims=True) elif x.ndim == 1: x = x - np.max(x) x = np.exp(x) / np.sum(np.exp(x)) return x class BaseModel: def __init__(self): self.params, self.grads = None, None def for.. 2020. 3. 9.
CHAPTER 6 게이트가 추가된 RNN 5장 RNN에서의 문제점 - 시계열 데이터의 장기 의존 관계 학습 어려움(원인 : BPTT에서의 vanishing gradient , exploding gradient ) RNN - 시계열 데이터 $x_t$ 입력시 $h_t$(은닉 상태) 출력 기울기(gradient) 학습해야 할 의미가 있는 정보 과거로 전달, 장기 의존 관계 학습 중간에 정보가 사라지면 가중치 매개변수의 갱신 불가 기울기 소실( vanishing gradient ), 기울기 폭발( exploding gradient )의 원인 기울기 소실 - 기울기가 빠르게 작아지며 일정 수준 이하로 작아지면 가중치 매개변수가 갱신되지 않는 문제 기울기 폭발 - 오버플로를 유발하여 NaN(Not a Number) 유발 해결 방법 기울기 클리핑(gradi.. 2020. 2. 27.
[논문 리뷰] XLNet : Generalized Autoregressive Pretrainingfor Language Understanding 이번 논문은 구글 AI팀에서 발표한 논문으로 2019년 6월 발표 당시 20개 자연어 처리 부분 최고 성능을 기록한 논문이다. 19년 1월 나온 TRANSFORMER-XL: ATTENTIVE LANGUAGE MODELS BEYOND A FIXED-LENGTH CONTEXT 후속버젼의 논문으로 저자들 또한 완벽히 일치한다. 본 논문은 당시 최고 성능을 자랑하던 BERT보다 20개의 nlp task에서 더 좋은 성능을 보였으며 그중 18개 task에서 SOTA를 달성하였으며 기존 language model들이 갖고 있던 Autoregressive 한 특성을 유지, 다양한 context의 방향에서 학습한 모델을 구현하였다. 1. Introduction Pretraining method를 크게 2가지로 본다면 .. 2020. 2. 26.
[논문 리뷰] Twitter mood predicts the stock market 이번 논문은 현시점(2020/02/13) 4404회의 인용된 논문으로 실시간 SNS인 twiitter 감정분석을 통해 대중의 감정을 분석하여 주식시장이 예측 가능한지에 대해 평가한 논문이다. 게시된 저널 : Journal of Computational Science 저자 : Johan Bollena, Huina Maoa( a School of Informatics and Computing, Indiana University의 교수) Article history : Received 15 October 2010 Abstract 행동 경제학에 따르면 감정이 행동과 의사 결정에 큰 영향을 준다고 한다. 본 논문에서는 위의 행동 경제학 이론이 사회 전체에 적용이 되는 것인지 만약 적용이 된다면 사회 전체의 감정,.. 2020. 2. 21.
[논문 리뷰] Stock Market Prediction A Big Data Approach Girija V Attigeri , Manohara Pai M M, Radhika M Pai, Aparna Nayak Manipal Institute of Technology, Manipal- 576104, India 본 논문은 2015년 IEEE의 빅데이터를 활용해 주식시장을 예측하고자 하는 논문이다. 1. Introduction 주식 시장엔 Random walk theory라는 이론이 있다 주가는 랜덤하게 움직임 주가는 이미 반영될 수 있는 정보가 모두 반영됨 미래 주가는 랜덤하게 형성 투자자는 최대한 많은 양의 종목을 분산하여 장기간에 걸쳐 투자요망 이라는 이론이다. Random walk theory에 따르면 주가변동은 동일한 분포를 가지며 서로 독립하기 때문에 과거 주가, 시장의 움직임을 이용한 .. 2020. 2. 18.
CHAPTER 5 순환 신경망(RNN) 4장까지의 신경망 - feed forward(흐름이 단방향인 신경망) 구성 단순 이해 쉬움 응용 쉬움 시계열 데이터를 잘 다루지 못함 순환 신경망(Recurrent Neural Network)(RNN) 순환하는 경로(닫힌 경로) 순환 경로를 따라 데이터 순환 과거의 정보를 기억 및 최신 데이터로 갱신 가능(시계열 데이터에 적합) $x_{t}$ - 각 시간에 입력되는 벡터( t : 시각 ) 입력 값 - $x_{0}, x_{1},x_{2}, ..., x_{t}, ...)$ 출력 값 - 입력에 대응하여 $(h_{0}, h_{1}, ..., h_{t}, ...) $ 각 시각의 RNN계층은 그 계층으로부터의 입력, 1개 전의 RNN계층으로부터의 출력을 입력받음 -> 두 정보를 바탕으로 현 시각의 출력을 계산 계산.. 2020. 2. 18.
반응형

티스토리툴바