Introduction

• Overfiitting이란 Train Loss와 Test Loss가 많은 차이를 보이는 경우를 의미
• 즉 Train Data에서는 우수한 성능을 보이지만 Test Data에서는 그러한 성능을 보이지 못하는 경우
• Ex. 2차함수로 해결 가능한 것을 4차 함수를 이용하는 경우

Solution

1. Feature 수를 줄인다.
   • 쓸만한 특성만 남겨두기, 모델 선택 알고리즘(모델이 자동으로 선택하거나 버릴지 고른다, 단점으로 feature를 버리면 문제에 포함된 정보도 버릴 수 있게 됨)
2. Regularization
   • 모든 특성을 남기되, 각각의 특성이 갖는 영향 규모를 줄이는 것
3. Dropout
4. Batch Normalization
   • Regularization을 위한 것은 아니지만 그런 효과를 가짐
   • Why? 평균과 편차를 사용하기 때문에 곱셉잡음, 덧셈잡음이 존재