Shannona – wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.
Ważne pojęcia teorii informacji: Bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło (zob. wyższe jednostki informacji). Entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach. Wzór na entropię to:
gdzie to prawdopodobieństwo zajścia zdarzenia a to wartościowanie kodu.
Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.
Model statystyczny rzędu N Jest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków: model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków; model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak; model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki; model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.
Zobacz też złożoność Kołmogorowa