정보 이득

`IG(X | Y) = H(X) − H(X | Y)`. Y를 관측해서 X에 대한 불확실성이 평균적으로 몇 비트 줄어드는가. Wordle 풀이, 결정 트리의 분기, 20 questions 전략 — 모두가 암묵적으로 *최대화*하는 목적함수가 이것. 위 한계는 `H(X)`: 변수가 담은 비트보다 더 얻을 수는 없다.