히스토그램

데이터에서 각 *값*이 얼마나 자주 등장하는지 센 것. 이미지의 경우: 이 정도 어두운 픽셀이 몇 개, 저 정도 밝은 픽셀이 몇 개. 그 픽셀들이 그림 안 _어디에_ 있는지는 묻지 않는다. 히스토그램은 일부러 공간 구조를 버린다 — "밝기 분포는 어떤가?"에는 답하지만, "그림이 매끈한가 거친가?"에는 답하지 않는다. 히스토그램 위에서 *엔트로피*를 계산하면, 각 값을 _독립적으로_ 인코딩할 때 필요한 심볼당 비트 수의 하한이 나온다. 실제 이미지에서 이 하한은 거의 항상 *느슨한 하한*이다 — 실제 픽셀은 이웃 픽셀과 독립이 아니니까.