funkcji Metodę gradientu prostego stosuje się do znajdowania ekstremów funkcji wielu zmiennych rzeczywistych, mającej zbiór wartości rzeczywistych, tj.
gdzie przy czym funkcja winna być klasy (funkcja ciągła i różniczkowalna).
Opis algorytmu Na początku wybierany jest dowolny punkt startowy W punkcie tym obliczany jest kierunek poszukiwań , taki że , tj. jest to antygradient funkcji w punkcie czyli wektor wskazujący kierunek najszybszego spadku funkcji. Następnie obliczany jest nowy punkt według wzoru
gdzie - dowolnie wybrana liczba rzeczywista, ale taka, by odległość od poprzedniego punktu nie była zbyt duża. Następnie oblicza się kolejne punkty
gdzie - dowolnie wybrane liczby rzeczywiste
aż kolejny punkt spełni warunek stopu algorytmu (patrz dalej).
Określanie wielkości współczynników Współczynniki decydują o wielkości kolejnych kroków - im większe, tym większe kroki.