2를 몇 번 곱해야 1,024가 될까?

모든 일을 하는 항등식

로그를 정의하는 줄은 단 하나다: $\log(a·b) = \log(a) + \log(b)$. 밑은 뭐든 좋다. 규칙은 같다. (밑은 분야가 정해준다: $\log$는 공학·고등학교에서는 log₁₀ , ML·통계에서는 ln , 알고리즘에서는 $\log₂$ — 첨자가 없으면 분야로 읽는다.) 나머지 성질은 모두 이 한 줄에서 따라 나온다. $\log(a/b) = \log(a) − \log(b)$: 규칙에서 b를 1/b로 바꾸면 끝. $\log(aⁿ) = n·\log(a)$: 규칙을 $a · a · … · a$에 n번 적용. $\log(1) = 0$: $\log(1·a) = \log(1) + \log(a)$에서 곧장. 네 번째 규칙은 없다 — 곱셈을 묶는 네 번째 방법이 없기 때문이다. 실용적으로 말하면: 로그 는 어떤 수가 밑을 몇 번 곱해 만들어졌는지를 알려준다. $\log₁₀(1000) = 3$인 건 1000이 10을 세 번 곱한 수이기 때문. 곱한 횟수를 센다. 그게 전부다.

import math

# every log law from one identity:
math.log10(2 * 50)              # ≈ math.log10(2) + math.log10(50)
math.log10(2 ** 10)             # ≈ 10 * math.log10(2)
math.log10(1)                   # 0.0

같은 트릭, 다섯 곳

지수에서 자라는 양은 여기저기 흩어져 있다 — 시간에 따라 자라는 것 ( 복리 , 탄소 연대 측정), 감각이 누르는 압축 (데시벨), 거대한 스케일을 재는 단위 (지진), 정보를 세는 단위 (비트). 매번 같은 트릭이다: 식을 세우고, 양변에 로그를 씌우고, 지수를 꺼낸다. 손으로 풀어보자.

• 복리. 100만원을 연 7%로 굴리면 두 배가 되는 데 몇 년? $1.07ᵗ = 2$ → $t = \log(2) / \log(1.07) ≈ 0.301 / 0.0294 ≈ 10.24 \text{년}$. 72의 법칙 ($72 / 7 ≈ 10.3$)은 이 식을 작은 r에서 어림한 것.
• 탄소-14 연대 측정. 탄소-14는 생물이 죽으면 반감기 5,730년으로 줄어든다. 25%만 남았다면: $(1/2)^(t/5730) = 0.25 = (1/2)²$ → $t = 11{,}460 \text{년}$. 33%, 17%처럼 어중간한 비율은 로그 식 한 줄이 아니면 닫히지 않는다.
• 데시벨. $dB = 10·\log₁₀(P/P₀)$. 일상 대화 60 dB, 록 콘서트 110 dB → 음향 강도는 $10^5 = \text{10만 배}$ 차이. 귀에는 그렇게 들리지 않는다. 귀가 강도를 로그 스케일로 듣기 때문 — 데시벨은 그 압축을 그대로 단위로 옮긴 것이다.
• 지진 규모. $E = E₀·10^(1.5·M)$. 2011 도호쿠 (M 9.0) vs 평범한 큰 지진 (M 7.0): $E_9 / E_7 = 10^{1.5×2} = 10^3 = 1{,}000\text{배}$. 규모 2 차이가 에너지 1,000배. 자연 지진 에너지는 19자릿수에 걸쳐 있어, 리히터의 로그 압축이 없으면 비교 자체가 안 된다.
• 비트와 이진 탐색. 1,024쪽 사전을 매번 반으로 자르면 $\log₂(1024) = 10$번이면 단어에 닿는다. 32비트 정수는 $2^{32} ≈ \text{43억}$ 가지를 담고, 거꾸로 N개를 식별하려면 $\log₂(N)$ 비트가 필요하다. 카드 한 벌을 섞으면 $\log_2($ 52! $) ≈ 226 \text{ 비트}$의 정보 — 예/아니오 질문 226개면 그 한 번의 셔플이 정확히 특정된다.

다섯 문제, 모양은 하나: 자연이 만든 식은 지수꼴, 양변에 로그, 지수가 답으로 떨어진다. § 1의 항등식 — 곱셈을 덧셈으로 — 이 매번 그 일을 한다.

네이피어와 계산자 (×→+ 의 화신)

1614년, 존 네이피어가 첫 로그 표를 펴냈다. 일식을 예측하려고 9자리 수를 손으로 곱하다 속이 타들어 가던 천문학자들의 시대였다. 표를 펴서 $\log(a)$와 $\log(b)$를 찾고, 둘을 더하고, 그 합이 로그값인 수를 다시 찾기만 하면 — 곱셈 한 번 없이 $a·b$가 나왔다. 300년 뒤, 모든 엔지니어가 계산자 를 들고 다녔다. 로그 눈금 두 개가 서로 미끄러지는 나무 자. 한쪽의 2를 다른 쪽의 3에 맞추면 물리적으로 $\log(2) + \log(3)$이 수행됐고, 만나는 자리에 6이 찍혔다. 계산자는 § 1의 항등식을 깎아 만든 도구다. 아폴로는 이걸로 달에 갔다.

언더플로우 — 그리고 로그 공간이 모델을 살리는 이유

는 약 $10⁻³⁸$까지만 표현한다. 확률 $0.1$을 마흔 번 곱하면 그 선 아래로 떨어지고 — 결과는 조용히 0으로 반올림된다. 예외도, 경고도 없다. 거기에 매달려 있던 모든 그래디언트 가 함께 죽는다. 수치해석의 흥밋거리가 아니다. 모든 딥러닝 라이브러리가 손실을 곱이 아니라 합으로 보고하는 이유다. 해법은 § 1의 항등식을 기계적으로 적용하는 것: 곱이 만들어지기 직전에 로그를 씌운다. $\log(p₁·p₂·…·pₙ) = Σ \log(pᵢ)$. 각각의 $\log(pᵢ)$는 다루기 편한 음수, 그 합은 다루기 편한 더 큰 음수. 언더플로우 가 닿을 수 없는 자리다. 로그우도 가 하는 일이고,

가 만들어진 이유다. 로그 공간에 머물면 곱은 합이 되고, float는 더는 거짓말을 하지 않는다.

import numpy as np

# Naive: multiply 40 probabilities. Underflows in float32.
p = np.float32(0.1)
np.prod([p] * 40)               # → 0.0  (silent death)

# Log-space: add 40 log-probabilities. Survives.
np.sum(np.log([p] * 40))        # → -92.10  (well-defined)

이게 어디에 나타나나 — 같은 항등식, 두 필러

로그는 덧셈의 질문에 곱셈이 답하게 해주는 도구다. 무언가가 곱으로 쌓이는 모든 분야 — 그런 분야가 많다 — 는 결국 “몇 번?”, “얼마나 큰가?”, “얼마나 확신하나?”를 덧셈의 모양으로 묻게 된다. 그 다리가 로그다.

finance : 이율은 곱으로 합쳐진다 — 로그가 그것을 더하기로 만든다
        (목표까지 햇수, CAGR, 연속 복리).
ml      : 독립적인 가능도는 곱으로 합쳐진다 — 로그가 그것을 더하기로
        만들고, *음의* 로그가 그것을 손실로 만든다.

이 모듈을 실제로 쓰는 다섯 곳이 있다. 모두 § 1의 한 항등식에 기댄다 —

• 비트코인 피자는 복리 성장의 역연산 — $F = P(1+r)^t$는 로그를 씌우지 않으면 t에 대해 풀 수 없다. $t = \log(F/P) / \log(1+r)$. CAGR은 같은 항등식을 r에 대해 푼 것. 세 미지수, 한 식, 로그 모양의 답 셋.
• 현재가치는 이산 복리 $(1 + r/n)^(n·t)$에서 연속 형식 $e^(rt)$로 건너가는 다리를 놓는다 — 이산 식에 로그를 씌우면 극한에서 $r·t$로 정리된다. 연속 복리는 별개의 연산이 아니라, 이산 연산을 로그로 들여다본 것뿐.
• 자신 있게 틀리기는 손실 $−\log p_{\text{정답}}$를 만든다. 훈련 예제 여러 개의 가능도는 서로 곱해진다 — 로그가 그 곱을 합으로 바꾸고, 음의 부호가 “더 자신만만한 오답일수록 더 큰 손실”로 만든다.
• TF-IDF는 희귀성을 비트로 잰다 — $idf(t) = \log(N / df(t))$. 로그가 “세 배 더 드물다”를 “1 비트 더 놀라운”으로 바꿔준다. 비트로 잰 다른 양 (비밀번호 강도, 영문자 엔트로피) 과도 곧장 비교할 수 있다.
• 모델 캘리브레이션은 검증 셋의 로그 손실을 최소화해 온도 T를 맞춘다. 로짓 함수 $\log(p/(1−p))$는 캘리브레이션 곡선을 애초에 선형으로 펴주는 기저 변환. 한 작업 흐름 안에서 로그가 두 가지 역할로 등장한다.

다섯 문제, 두 필러, 항등식은 하나 — × → + 의 치환. § 3 네이피어의 계산자와 똑같은 기계가 오늘은 log_softmax와 캘리브레이션 옵티마이저 안에서 돌고 있다.