본문 바로가기
반응형
CHAPTER 7 RNN을 사용한 문장생성 Language모델의 문장 생성 순서 확률이 가장 높은 단어 선택 결과 일정 확률적 선택 각 후보 단어의 확률에 맞게 선택 샘플링 되는 단어 매번 바뀜 확률분포 출력, 샘플링을 반복 import numpy as np def softmax(x): if x.ndim == 2: x = x - x.max(axis=1, keepdims=True) x = np.exp(x) x /= x.sum(axis=1, keepdims=True) elif x.ndim == 1: x = x - np.max(x) x = np.exp(x) / np.sum(np.exp(x)) return x class BaseModel: def __init__(self): self.params, self.grads = None, None def for.. 2020. 3. 9.
CHAPTER 6 게이트가 추가된 RNN 5장 RNN에서의 문제점 - 시계열 데이터의 장기 의존 관계 학습 어려움(원인 : BPTT에서의 vanishing gradient , exploding gradient ) RNN - 시계열 데이터 $x_t$ 입력시 $h_t$(은닉 상태) 출력 기울기(gradient) 학습해야 할 의미가 있는 정보 과거로 전달, 장기 의존 관계 학습 중간에 정보가 사라지면 가중치 매개변수의 갱신 불가 기울기 소실( vanishing gradient ), 기울기 폭발( exploding gradient )의 원인 기울기 소실 - 기울기가 빠르게 작아지며 일정 수준 이하로 작아지면 가중치 매개변수가 갱신되지 않는 문제 기울기 폭발 - 오버플로를 유발하여 NaN(Not a Number) 유발 해결 방법 기울기 클리핑(gradi.. 2020. 2. 27.
CHAPTER 5 순환 신경망(RNN) 4장까지의 신경망 - feed forward(흐름이 단방향인 신경망) 구성 단순 이해 쉬움 응용 쉬움 시계열 데이터를 잘 다루지 못함 순환 신경망(Recurrent Neural Network)(RNN) 순환하는 경로(닫힌 경로) 순환 경로를 따라 데이터 순환 과거의 정보를 기억 및 최신 데이터로 갱신 가능(시계열 데이터에 적합) $x_{t}$ - 각 시간에 입력되는 벡터( t : 시각 ) 입력 값 - $x_{0}, x_{1},x_{2}, ..., x_{t}, ...)$ 출력 값 - 입력에 대응하여 $(h_{0}, h_{1}, ..., h_{t}, ...) $ 각 시각의 RNN계층은 그 계층으로부터의 입력, 1개 전의 RNN계층으로부터의 출력을 입력받음 -> 두 정보를 바탕으로 현 시각의 출력을 계산 계산.. 2020. 2. 18.
반응형

티스토리툴바