수렴

반복을 더 해도 목적 함수가 의미 있게 변하지 않는 상태. 구체적으로 — 변화량 `|f(xₙ₊₁) − f(xₙ)|`이 어떤 허용오차 아래로 떨어지거나, 그래디언트 크기 `‖∇f‖`가 그 아래로 떨어지거나, 반복 점 `xₙ` 자체가 더는 움직이지 않거나. 수렴은 *정지 조건*이다 — 없으면 최적화기는 영원히 돈다. 그리고 위험이 사는 자리이기도 하다 — 국소 최솟값으로의 수렴과 전역 최솟값으로의 수렴은 똑같이 보인다. 둘 다 "근처에서 더 개선되지 않음"으로 비친다. 최종 답이 _옳은_ 답인지는 문제의 기하 (볼록한가 아닌가), 시작점, 스텝 크기 스케줄, 그리고 운에 달려 있다. *멈췄다*와 *풀렸다*는 다른 두 일이다.