Ustal wartość . Oblicz Jeżeli to zmniejsz wartość i powtórz punkt 2. Sprawdź kryterium stopu: jeśli nie jest spełnione, to przyjmij , ustal wartość , przejdź do punktu 2. jeśli jest spełnione to funkcja ma minimum w punkcie ; STOP.
Funkcja kwadratowa
W kontekście metod gradientowych, funkcja kwadratowa to funkcja wielu zmiennych o wartościach rzeczywistych, o postaci ogólnej:
gdzie: thumb|250x250px|Trajektoria punktu po dziedzinie funkcji wyznaczona metodą gradientu. – wektor zmiennych zapisany w postaci kolumny, – wektor zmiennych transponowany (zapisany w postaci wiersza), – macierz symetryczna i dodatnio określona, – wektor, – stała liczba. Funkcja kwadratowa jest klasycznym przypadkiem testowym dla metod gradientowych, ponieważ gradient zależy liniowo od :
Dzięki temu łatwo obliczyć optymalny krok. W przypadku funkcji kwadratowej z dodatnio określoną macierzą , metoda ta z dokładnym doborem kroku (exact line search) zbiega do minimum w skończonej liczbie kroków lub bardzo szybko.thumb|250x250px|Trajektoria punktu po wykresie funkcji wyznaczona metodą gradientu.Charakterystyka Minimum funkcji kwadratowej jest jednoznaczne i wynosi , gdzie - macierz odwrotna do macierzy (wynika to z rozwiązania równania na zerowanie się gradientu: )