신뢰도 다이어그램

*캘리브레이션*을 그리는 표준 그래프. 예측을 신뢰도 구간별로 묶고 (`[0.0–0.1]`, `[0.1–0.2]`, …, `[0.9–1.0]`) , 각 구간에서 *평균 예측 확률*을 x축, _관측 정확도_ (그 구간 예측 중 실제로 맞은 비율) 를 y축에 찍는다. 완벽히 캘리브레이트된 모델은 대각선 `y = x` 위를 따라간다. x=0.9에서 막대가 대각선 *아래*에 있다면, 모델이 "90% 확신"이라 말했지만 — 예컨대 — 75%만 맞춘다는 뜻; _과신(overconfident)_. 대각선 위쪽이면 _과소확신(underconfident)_. 각 구간의 수직 간격을 그 구간의 예측 개수로 가중평균한 값이 _기대 캘리브레이션 오차(ECE)_.