Entropia – średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości.
Wzór na entropię zmiennej losowej o zbiorze wartości :
gdzie to prawdopodobieństwo zajścia zdarzenia a to podstawa logarytmu. W teorii informacji najczęściej stosuje się logarytm o podstawie 2, wówczas jednostką entropii jest bit. Dla jednostka ta nazywa się nat (nit), natomiast dla – dit lub hartley. W przypadku gdy dla pewnego wartość składnika jest przyjmowana jako 0, co jest zgodne z granicą:
W latach 60. XX wieku węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest entropią Rényi.
Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili.