Sieci neuronowe często określane są jako tzw. czarna skrzynka, z powodu tego, że nie jest możliwe zrozumienie jak naprawdę działają, gdy używają dużej ilości parametrów. Były jednak próby opracowania matematycznej teorii jak naprawdę działają sieci neuronowe, z uwzględnieniem modelu .

thumb|Uproszczony schemat jednokierunkowej sieci neuronowej, gdzie zielone kółka oznaczają wejścia, niebieskie - sztuczne neurony, żółte kółko - wyjście.

Typy sieci neuronowych Cechą wspólną wszystkich sieci neuronowych jest to, że na ich strukturę składają się neurony połączone ze sobą synapsami. Z synapsami związane są wagi, czyli wartości liczbowe, których interpretacja zależy od modelu.

Sieci jednokierunkowe Sieci jednokierunkowe to sieci neuronowe, w których nie występuje sprzężenie zwrotne, czyli pojedynczy wzorzec lub sygnał przechodzi przez każdy neuron dokładnie raz w swoim cyklu. Najprostszą siecią neuronową jest pojedynczy perceptron progowy, opracowany przez McCullocha i Pittsa w roku 1943.