Softmax를 쓰다 보면 가끔 Temperature를 볼 수 있다.

여기서 Temperature란 Softmax 결과 값들의 차이를 줄여줄 때 사용한다.

아래 그림을 보게 되면 감마 값이 커질 수록 다른 쿨래스와의 차이가 줄어드는 것을 확인할 수 있다.

https://s3-us-west-2.amazonaws.com/secure.notion-static.com/3db72584-c7c9-4586-b0c4-8bae2c97ef05/The-Gumbel-Softmax-distribution-interpolates-between-discrete-one-hot-encoded-categorical.png

하지만 값의 크기 순서는 그대로라는 점에서 accuracy에 영향을 주진 않는다.

Formula

$$

$$