Model Parameters와 Hyperparameter의 차이점

Model Parameters는 학습이 가능하다. 

모델이 돌아가면서 스스로 train dataset에 따라서 변경해가며 최적의 Model Parameter값을 찾아가는 것이다.

( loss function의 값이 최소가 되도록 Model Parameter값을 변경하는 과정을 optimization이라고 한다.) 

예를 들어 linear regression에서 y = ax + b를 만들 때 a와 b를 Model Parameter 라고 한다. 

 

 

보통 세타로 표현한다. 

a는 weights라고 불리며 b는 bias를 의미한다.

b는 x와 곱해지지않고 원점을 지나가지않게 해준다. 

 

 

 

Hyperparameter는 user가 결정한다.

모델이 결정하는 것이 아니라 사람의 choice이다. 

예를 들어 K-NN에서 K가 Hyperparameter에 속한다.