maximal line search) znajduje się taką wartość , aby przemieszczając się wzdłuż gradientu wybrać punkt, w którym funkcja maksymalnie obniża się.
Reasumując, w metodzie gradientu prostego mamy
krok w każdej iteracji jest skierowany przeciwnie do gradientu funkcji, wystawionego w aktualnym punkcie , tj. wzdłuż wektora nowy punkt oblicza się ze wzoru , gdzie - współczynnik, który można dobrać w każdym kroku indywidualnie metoda stałego współczynnika: w najprostszym przypadku ustala się jako stałą wartość dla całej iteracji metoda maksymalnego spadku (ang. maximal line search) - to najbardziej optymalna metoda, gdzie dobiera się tak, by w nowym punkcie wartość funkcji była możliwie najmniejsza: ; każdy ruch jest maksymalnie efektywny, co przyspiesza zbieżność (szczególnie istotne dla funkcji kwadratowych lub o wydłużonych dolinach). w innych wariantach stosuje się często przybliżone line search, jeśli maksymalne minimalizowanie byłoby kosztowne. thumb|right|Metoda gradientu prostego funkcji dwóch zmiennych : widać, że w zależności od punktu początkowego metoda prowadzi do znalezienia różnych minimów lokalnych Minimum globalne - to najmniejsze z minimów lokalnych.|250x250px