Human-level Performance란

위의 이미지를 보면 초록색 선과 파란색 선 기준이 보일 것입니다. 초록색 선부터 설명을 드리자면 base optimal(베이지안 최적오차)은 이론상 가능한 최저의 오차입니다. 즉 Overfitting이 발생되지 않는 한 이 값을 넘을 수는 없습니다. 예를 들어 오디오 인식 프로그램에서 잡음이 들어가게 되면 정확도 100% 결과를 내놓을 수 없습니다. 또는 이미지가 너무 흐려서 고양이인지 아닌지 절대 구분하지 못할 수 있습니다. 이 경우에도 100% 정확도를 내놓을 수 없습니다.

파란색 선은 Human-level Performance입니다. 즉 사람의 수준 오차를 의미하게 됩니다. 사람 수준의 오차는 베이지안 오차보다 더 나쁩니다. 베이지안 오차보다 작은 오차는 존재하지 않기 때문입니다. 그렇지만 베이지안 오차와 사람 오차의 차이는 크지 않을 것입니다.

Human-level을 넘는다면?

대부분의 task에서 Human 성능은 베이지안 최적 오차와 크게 차이나지 않습니다. 즉 Human 성능을 넘게 되면 더 성능을 향상시킬만한 여유가 없을 가능성이 높습니다. 그렇기때문에 Human-level을 넘게 되면 진행속도가 느려지게 됩니다. 이러한 이유들을 정리해보면 다음과 같습니다.

1. Human 성능과 base 성능의 차이가 크지않음
2. Human 성능보다 낮은 경우 특정 방법을 이용해서 쉽게 높일 수 있지만 반대의 경우는 힘듬

Avoidable Bias

제목 없는 데이터베이스

위에 표에서 나오는 Humans은 사람 수준의 오차 혹은 베이지안 오차의 추정치가 됩니다. 아까 앞에서도 말했듯이 사람 수준의 오차와 베이지안 오차는 크게 차이 나지않기 때문에 근사값이라고 추정하여 사용하겠습니다.

위의 표 예시를 통해 설명드리겠습니다.

• Case1의 경우 Human 성능과 Training Error 차이가 더 크게 발생하고 있습니다. 이런 경우에는 Bias에 초점을 맞춰야합니다.
• Case2의 경우에는 Humans와 Training Error 차이보다 Training Error와 Dev Error가 차이가 더 큰 경우 Vairance에 초점을 맞춰야합니다.

베이지안 오차와 Training Error의 차이를 Avoidable Bias라고 합니다. 더 이상 낮아질 수 없는 편향 또는 최소 오차가 존재한다는 뜻입니다. 즉, Avoidable Bias 값이 크다면 모델이 충분히 학습되지 않은 것입니다.

이에 대한 해결 방법은 다음과 같습니다.

1. Bigger Model로 학습
2. 더 좋은 알고리즘 사용(ex. RMSProp, Adam, …)
3. 더 나은 신경망이나 하이퍼파라미터를 찾음(ex. 활성화 함수 바꾸기, Hidden unit 수 바꾸기, …)

Variance