섀넌 한계

소스 부호화 정리 (1948): 어떤 무손실 부호도 심볼당 평균 `H(X)` 비트보다 _적게_ 쓸 수 없다. Huffman 부호는 한계의 1 비트 안으로 들어가고, 산술 부호는 임의로 가까이 다가간다. 5GB 무작위 파일은 거의 압축되지 않고 5GB 영문 텍스트는 1/5로 줄어드는 이유: 영문 텍스트의 심볼당 엔트로피가 그 원시 바이트가 시사하는 것보다 작기 때문.