소프트맥스
en · 짝 softmax
로짓 벡터 `z = (z₁, …, zₙ)`을 합이 1인 양수 벡터로 바꾸는 함수: `softmax(z)ᵢ = exp(zᵢ) / Σⱼ exp(zⱼ)`. 두 가지 사실을 잊지 말 것. (1) 로짓끼리의 _차이_ `zᵢ − zⱼ`에만 의존한다 — 모든 로짓에 같은 상수를 더해도 결과는 그대로. (2) 정확히 0 또는 1을 출력하지 않는다 (극한일 뿐). 출력은 확률 분포처럼 _보이지만_, 그 확률이 실제 세계의 빈도와 일치한다는 보증은 없다.
발명
1868 (볼츠만) / 1989 (브리들, ML) · Ludwig Boltzmann (physics) → John S. Bridle (ML) · Vienna → RSRE Malvern, UK
볼츠만(1868)은 온도 T에서 물리 상태의 확률을 `e^(-E/kT) / Z`로 적었다 — 통계역학. 121년 뒤 브리들(1989)이 정확히 같은 공식을 신경망 출력층에 갖다 썼고, 온도가 0으로 가면 hard argmax가 된다고 해서 'softmax'라 불렀다. 같은 식, 완전히 다른 두 문제.
사용 위치 · 3