반응형 CHAPTER 7 RNN을 사용한 문장생성 Language모델의 문장 생성 순서 확률이 가장 높은 단어 선택 결과 일정 확률적 선택 각 후보 단어의 확률에 맞게 선택 샘플링 되는 단어 매번 바뀜 확률분포 출력, 샘플링을 반복 import numpy as np def softmax(x): if x.ndim == 2: x = x - x.max(axis=1, keepdims=True) x = np.exp(x) x /= x.sum(axis=1, keepdims=True) elif x.ndim == 1: x = x - np.max(x) x = np.exp(x) / np.sum(np.exp(x)) return x class BaseModel: def __init__(self): self.params, self.grads = None, None def for.. 2020. 3. 9. 이전 1 다음 반응형
