국소 최솟값

목적 함수가 _근처의 어떤 점보다도 작지 않은_ 지점 — 그러나 어디서든 가장 작다는 보장은 없다. 단일 그릇 모양 (_볼록_ 함수) 의 최솟값은 하나뿐이고, 그것을 찾으면 최적화가 완전히 풀린다. 골짜기가 여럿인 함수는 국소 최솟값도 여럿이고, 한 시작점에서 내려가는 일은 *어느 골짜기에서 시작했는지에 따라 그 골짜기*에 도달한다는 보장만 준다 — 가장 깊은 골짜기 (_전역 최솟값_) 가 거기인 것은 아니다. 실제 최적화 문제 대부분은 비볼록이다 — 신경망 훈련, 제약 있는 포트폴리오 선택, 이차식이 아닌 위치 에너지를 가진 물리 — 그리고 "이게 가장 좋은가?"의 수학은 보통 "근처에서 더 나은 곳이 있는가?"로 축소된다. 정직한 답은 _항상은 아니다_.