Naszym celem jest przybliżenie „rzeczywistego” rozkładu za pomocą wytwarzanego przez maszynę. Podobieństwo tych dwóch rozkładów mierzone jest za pomocą dywergencji Kullbacka–Leiblera,

gdzie suma przebiega po wszystkich możliwych stanach . jest funkcją wag, ponieważ one determinują energię stanu, a energia determinuje , zgodnie z rozkładem Boltzmanna. Algorytm optymalizacji gradientowej względem zmienia daną wagę, , przez odjęcie pochodnej cząstkowej względem tej wagi. Uczenie maszyny Boltzmanna przebiega w dwóch naprzemiennych fazach:

a). faza „pozytywna”, w której stany neuronów widocznych są ustalone na konkretny binarny wektor stanu pobrany ze zbioru treningowego (zgodnie z ),

b). faza „negatywna”, w której sieć działa swobodnie, tj. tylko neurony wejściowe mają stan określony przez dane zewnętrzne, natomiast neurony wyjściowe mogą się swobodnie zmieniać.

Gradient względem danej wagi, , dany jest równaniem

gdzie:

- prawdopodobieństwo, że neurony oraz są jednocześnie włączone, gdy maszyna jest w stanie równowagi w fazie pozytywnej, - prawdopodobieństwo, że neurony oraz są jednocześnie włączone, gdy maszyna jest w stanie równowagi w fazie negatywnej, - współczynnik uczenia.