모델의 과대적합을 해결하는 방법으로는 라쏘 회귀, 릿지 회귀, 엘라스틱넷, 조기종료가 있습니다.
이 네 가지 방법들은 간단합니다.
제일 먼저 라쏘 회귀에 대해 알아보도록 하겠습니다.
라쏘 회귀는 비용함수에 다음과 같은 항을 더합니다.
비용함수를 최저점으로 수렴하게 하면서 가중치들의 합을 적게 업데이트해 나가는 방식입니다.
라쏘 회귀는 자동적으로 특성 선택을 하고 희소 모델(sparse model)을 만듭니다.
라쏘 회귀에서는 L1 페널티를 사용합니다.
릿지 회귀는 L2페널티를 사용합니다.
비용함수에 다음과 같은 항을 더합니다.
릿지 회귀는 보통 규제가 전혀 없는 선형회귀 대신 사용하게 됩니다.
엘라스틱넷은 라쏘회귀와 릿지회귀를 합친 방법입니다.
비용함수에 다음과 같은 항을 추가합니다.
r = 1이면 라쏘회귀와 같고, r = 0이면 릿지회귀와 같습니다.
마지막으로 매우 효과적이고 간단한 조기종료(early stopping)를 알아보도록 하겠습니다.
조기종료는 epoch을 돌면서 모델을 학습시키며 validation loss가 최소일때를 최적해라고 판단하여, 검증 에러가 최저점에 도달했을 때 즉시 학습을 중지하는 것입니다.