놀람도

`I(x) = −log₂ p(x)`, 결과 `x`가 일어났음을 알게 됐을 때 얻는 정보의 비트 수. 드문 결과(작은 p)는 큰 놀람도를 나르고, 확실한 결과(p = 1)는 0을 나른다. 엔트로피는 _기대_ 놀람도 — `H = E[I(X)] = Σ p log₂(1/p)`. 모스 부호의 직관이 여기 산다: 영어에서 'E'가 가장 자주 나오므로 등장당 놀람도가 작고, 그래서 짧은 부호를 받는다.