Natomiast tekst nieredundantny to taki, w którym zawarto maksimum informacji przy minimum treści.
Miara informacji Miarą informacji, przyjętą w stylistyce kwantytatywnej, jest prawdopodobieństwo wystąpienia słowa w tekście. Jeżeli wystąpienie jakiegoś słowa w tekście jest absolutnie pewne (czyli prawdopodobieństwo tego zdarzenia równa się 1), to słowo nie niesie ze sobą żadnej informacji (informacja równa się 0). Natomiast wartość informacji rośnie w miarę tego, jak maleje prawdopodobieństwo wystąpienia słowa w tekście.
Informacja zawarta w tekście jest na tej podstawie definiowana jako entropia ze znakiem ujemnym, nazywana niekiedy negentropią. Matematycznie miarę informacji przekazywaną w danym języku ujmuje się równaniem:
gdzie jest informacją mierzoną w bitach, prawdopodobieństwem wystąpienia słowa
W praktyce nie można ustalić prawdopodobieństwa wystąpienia danego słowa w tekście, gdyż liczba wyrazów w danym języku jest teoretycznie nieskończona, choć w sposób niedefiniowalny ograniczona przez różne zasady wymowy, od których z kolei istnieją wyjątki. Dlatego najczęstszym sposobem obliczenia ilości informacji, którą przenosi dany język jest obliczanie jej na podstawie liczby znaków, które używane są w tekście albo liczby wymawianych głosek.