Jeżeli przy tym jest ściśle wypukła w badanej dziedzinie, to algorytm znajduje minimum globalne. Gdy zaś nie spełnia tego warunku, to istnieje wiele minimów - wtedy funkcja ma wiele minimów lokalnych i algorytm znajduje jedno z nich, co zależy od wybory punktu startowego .
Opis algorytmu thumb|Porównanie metody Newtona (linia czerwona) z metodą gradientu (linia zielona) dla funkcji dwóch zmiennych. Metoda Newtona jest szybciej zbieżna do minimum, gdyż używa informacji o krzywiźnie wykresu funkcji w celu zoptymalizowania ścieżki poszukiwań. Metoda gradientu używa jedynie informacji o lokalnym spadku wykresu funkcji. 1. Wybierz punkt startowy .
2. Oblicz kierunek poszukiwań .
Z rozwinięcia Taylora wynika, że wartość funkcji w punkcie niewiele odległym od punktu wyraża wzór: ,
gdzie:
- wektor małego przemieszczenia, - gradient funkcji w punkcie , - macierz Hessego w punkcie , - reszta o wielkości rzędu kwadratu długości wektora , T oznacza transpozycję wektora lub macierzy
Funkcję w punkcie można więc przybliżyć do wyrazów 2-go rzędu funkcją , taką że
Kierunek dobierz tak, by zminimalizować funkcję , tj.
co prowadzi do wzoru (dowód - por. np. Fortuna, Macukow, str. 149)
gdzie -1 oznacza operację liczenia macierzy odwrotnej.
3. Oblicz kolejny punkt