스텝 크기

탐색 공간에서 한 번에 얼마나 움직이는가. 구체적으로, 후보 `x`와 개선 방향 `d`가 주어졌을 때 다음 후보는 `x + α · d`이고, `α`가 스텝 크기다. 너무 작으면 탐색이 기어가고, 너무 크면 목표를 지나쳐 진동하거나 발산한다. _옳은_ 스텝은 국소 기하에 달려 있다 — 좁고 가파른 골짜기는 작은 스텝을, 넓고 평평한 고원은 큰 스텝을 원한다. 경사하강법에서는 이 양에 *학습률*이라는 별명이 붙고, 나머지 최적화는 그냥 `α`라 부른다. 현대 알고리즘은 `α`를 고정하거나, 스케줄링 (시간이 흐를수록 감소) 하거나, 적응적으로 계산 (선형 탐색, 신뢰 영역) 한다 — "하나의 상수로 충분한 경우는 드물다"의 세 이름이다.