그래디언트
en · 짝 gradient
함수의 여러 방향 기울기를 한 번에 모은 것. 함수 f(x, y, z, ...) 에 대해 그래디언트는 편미분의 벡터 — 가장 가파른 상승 방향을 가리킨다. 머신러닝에서 이 벡터는 손실을 줄이려면 파라미터를 어느 쪽으로 옮겨야 하는지 옵티마이저에게 알려준다.
발명
1847 · Augustin-Louis Cauchy · Paris
코시의 《Méthode générale pour la résolution des systèmes d'équations simultanées》(1847)가 지금 우리가 *경사하강*이라 부르는 것을 도입했다 — '가장 가파른 내리막을 따라가라, 반복하라.' 그는 신경망 훈련이 아니라 비선형 연립방정식을 풀고 있었다. 알고리즘은 한 줄도 바뀌지 않았다.
관련 용어
사용 위치 · 3