W dziedzinie termodynamiki statystycznej stan układu („stan makro”) jest analizowany z uwzględnieniem informacji o stanie poszczególnych cząstek, z których jest zbudowany (zobacz np. rozkład Maxwella). Jednemu „stanowi makro” odpowiada wiele różnych „stanów mikro”. „Waga stanu makro” (prawdopodobieństwo wystąpienia określonego fizycznego stanu układu) jest tym większa, im większa jest liczba stanów mikro, które mu odpowiadają. Największa waga odpowiada maksymalnej liczbie stanów mikro (chaos, maksymalna wartość entropii).
Wagi synaptyczne thumb|200px|Schemat dwuwarstwowej sztucznej sieci neuronowejW11 W12,...– wagi wejść z neuronów warstwy 1 do neuronów warstwy 2 Obserwacje reakcji neuronów biologicznych na liczne sygnały z zewnątrz, docierające poprzez wiele połączeń synaptycznych, doprowadziły do wniosku, że neuron jest zdolny do określania znaczenia (ważkości) każdego z nich dla organizmu. Stwierdzono, że wagi poszczególnych wejść oraz wysokości progów pobudliwości są zmienne. Obserwacje te wykorzystano w czasie tworzenia modeli sztucznych neuronów i sztucznych sieci neuronowych.