머신 러닝
- 학습을 통해 자동으로 개선 하는 알고리즘. 인간의 사고를 효율적인 계산의 관점에서 보고 모방하는 알고리즘
ex) 유전알고리즘, 베이즈 알고리즘, 진화 알고리즘 등 - 딥러닝과의 차이: 딥러닝은 머신러닝의 한 분야: 신경망을 모델링한 알고리즘이다.
- 딥러닝 ∈ 머신러닝
Linear Regression(선형 회귀)
- 2차원 좌표에 분포된 데이터를 1차원
- 방적식을 통해 표현되지 않은 데이터를 예측하기 위한 분석 모델
Cost Function, Objective Funtion, Loss Function 차이
- Objective Function
- 학습을 통해 최적화하는 함수(일반적임)
- Loss Function
- 모델이 출력하는 예측 값과 예측하고자 하는 실제 값 사이의 오차를 계산하는 함수
- Cost Function
- dataset에 대해 오차를 계산하는 함수
- Objective > Loss > Cost 순으로 상위 개념으로 볼수 있다.
- 함수의 최소값을 찾는 최적화 기법
- 함수의 미분 값을 이용해 값을 조정하는 방식
Gradient Descent와 기울기
- 방향 도함수가 최대의 변화를 갖는 방향이 기울기가 가리키는 방향이며, 최대의 변화를 가지는 방향의 반대 방향으로 향하면 언젠가는 최소값을 찾을 수 있기 때문이다.
- 파라미터 공간에 수많은 지역적인 홀(hole)들이 존재하여 이러한 local minima에 빠질 경우 전역적인 해(global minimum)를 찾기 힘들게 되는 문제.
- 모델을 통해 얻은 예측 값과 실제 정답과의 차이의 평균
- 다양한 데이터 셋에 대하여 예측값이 얼만큼 변화할 수 있는 지에 대한 양(Quantity)의 개념
bias와 variance의 관계
- bias 문제:
- 데이터의 분포에 비하여 모델이 너무 간단한 경우 발생
- underfit이 발생한 경우 발생
- Variance 문제:
- 모델의 복잡도가 데이터 분포보다 커서 데이터를 overfitting 시키는 경우
머신 러닝
l 학습을 통해 자동으로 개선 하는 알고리즘. 인간의 사고를 효율적인 계산의 관점에서 보고 모방하는 알고리즘
ex) 유전알고리즘, 베이즈 알고리즘, 진화 알고리즘 등
l 딥러닝과의 차이: 딥러닝은 머신러닝의 한 분야: 신경망을 모델링한 알고리즘이다.
n 딥러닝 ∈ 머신러닝
Linear Regression(선형 회귀)
l 2차원 좌표에 분포된 데이터를 1차원
l 방적식을 통해 표현되지 않은 데이터를 예측하기 위한 분석 모델
Cost Function, Objective Funtion, Loss Function 차이?
l Objective Function
n 학습을 통해 최적화하는 함수(일반적임)
l Loss Function
n 모델이 출력하는 예측 값과 예측하고자 하는 실제 값 사이의 오차를 계산하는 함수
l Cost Function
n dataset에 대해 오차를 계산하는 함수
l Objective > Loss > Cost 순으로 상위 개념으로 볼수 있다.
l 함수의 최소값을 찾는 최적화 기법
l 함수의 미분 값을 이용해 값을 조정하는 방식
Gradient Descent와 기울기
l 방향 도함수가 최대의 변화를 갖는 방향이 기울기가 가리키는 방향이며, 최대의 변화를 가지는 방향의 반대 방향으로 향하면 언젠가는 최소값을 찾을 수 있기 때문이다.
l 파라미터 공간에 수많은 지역적인 홀(hole)들이 존재하여 이러한 local minima에 빠질 경우 전역적인 해(global minimum)를 찾기 힘들게 되는 문제.
l 모델을 통해 얻은 예측 값과 실제 정답과의 차이의 평균
l 다양한 데이터 셋에 대하여 예측값이 얼만큼 변화할 수 있는 지에 대한 양(Quantity)의 개념
l bias와 variance의 관계
댓글