Minimum lokalne vs minimum globalne Jeżeli jest ściśle wypukła w badanej dziedzinie , to istnieje jedno globalne minimum i algorytm gradientu znajdzie to jedno minimum. Jeżeli funkcja nie jest ściśle wypukła, to ma wiele minimów. Wtedy w metodzie gradientu zostanie znalezione jedno minimum lokalne, w zależności od doboru punktu startowego . Aby znaleźć minimum globalne, trzeba poszukać wszystkich minimów, wybierając różne punkty startowe (np. zbadać, do jakich minimów prowadzą punkty startowe ulokowane w węzłach gęstej siatki, pokrywającej całą dziedzinę funkcji - por. animacja; lub posłużyć się metodą Metropolisa-Hastingsa, która pozwala efektywnie poszukiwać minimum globalnego w przestrzeniach wielowymiarowych). Minimum globalne - to najmniejsze ze znalezionych minimów lokalnych.
Algorytm thumb|Ilustracja metody gradientu prostego dla dwuwymiarowej funkcji celu . Widoczne są 4 pierwsze kroki algorytmu: punkty , leżą na płaszczyźnie, stanowiącej dziedzinę funkcji i tworzą ciąg zmierzający w kierunku punktu, w którym funkcja przyjmuje wartość minimalną. Linie krzywe zamknięte - to linie o jednakowych wartościach funkcji celu.|274x274px Założenia nt.