Transfer Learning(전이학습) 이란

• 습득한 지식을 저장하고 다른 관련 문제에 적용하는 방법
• 기존의 학습 모델로부터 마지막 층을 제거한 후 분류하고자 하는 적합한 층을 연결

Fine-tuning 이란

• pre-trained 모델의 가중치를 초기 가중치로 재학습하는 방법
• 모든 네트워크에서 가능하고, 일부만 진행할 수도 있음

언제 사용할까?

충분한 데이터가 있다면 전체를 학습시킬 수 있지만, 데이터가 충분하지 않다면 기존의 모델에서 추가한 층에서만 학습을 진행 후 사용이 가능합니다.

1. 전이 가능한 데이터는 많고 전이하려는 데이터가 적을 경우 자주 사용
2. A와 B가 같은 Input을 가지는 경우 자주 사용
3. A의 Low Level 특성이 B에게 유용할 때 자주 사용 -> A는 과일 분류, B는 사과 분류

동결층(Freeze)과 재학습(Fine-tuning)

동결층

• 이미 많은 데이터로 학습되어 있는 Layer
• 재학습하지 않고 그대로 사용할 Layer

Fine-tuning

• 기존의 학습되어 있는 층을 초기 값으로 재학습하거나 새로 추가하여 학습할 Layer
• 기존의 학습되어 있는 가중치를 이용하는 것을 Fine-tuning이라고함

예시