Надмірність в теорії інформації це кількість бітів, використовуваних для передачі повідомлення, мінус кількість бітів фактичної інформації в повідомленні . Неофіційно, це кількість витрачених марно «полів» в структурі, що використовується для передачі певних даних. Стиснення даних є способом зменшити або усунути небажану надмірність, в той час як контрольні суми — це спосіб додавання потрібної надмірності для цілей виявлення помилок при обміні даними по каналу з шумом .
Величина надмірності інформації пов'язана з фактичною кількістю інформації в джерелі. В реальних умовах незалежність елементарних повідомлень, вироблюваних джерелом, — явище досить рідкісне. Частіше буває протилежне — сильний детермінований чи статистичний зв'язок між елементами повідомлення одного чи кількох джерел.
Надмірність в інформаційних структурах підвищує надійність їх роботи. Через це передбачена парність деяких аналізаторів (зорового, слухового). З іншого боку, надмірність ускладнює систему, збільшує час обробки інформації, і знижує реальну пропускну спроможність каналів зв'язку. Для її зменшення в цьому випадку використовують оптимальне кодування. Тому визначення необхідної надмірності вирішується в кожному конкретному випадку, виходячи з особливостей розв'язуваної задачі і можливих обмежень.
Надмірність природної мови
За Клодом Шенноном, ентропія природної мови – це статистичний параметр, який дорівнює середній кількості інформації, що припадає на одну літеру мови. Зазначені дослідження велись для англійської мови. Результатом цих досліджень став висновок, що надмірність англійської мови становить 50% . Це означає, що коли ми пишемо англійською, половина того, що ми пишемо, визначається структурою мови, а половина витрачається марно. Скажімо, в англійській мові літера E зустрічається частіше, ніж Q. Існування цієї структури дозволяє зменшити надмірність природної мови за допомогою частотно-широтного алгоритму, який полягає у виборі літер, що зустрічаються частіше, коротшими за довжиною, а тих, що зустрічаються рідше — довшими. Частотно-широтний алгоритм, заснований на ентропійному кодуванні, дозволив отримати оптимальний український латинський алфавіт (abetka) , порівняно з яким надмірність кирилиці становить 8% .
Приклади Мінімальну нульову надмірність має тільки послідовність, в якій знаки незалежні і з імовірністю 1/m можуть бути рівні будь-якій з m літер алфавіту. У великих нестиснутих текстових файлах низька інформаційна ентропія: будь-яка мова має особливості, які дозволяють відновити втрачені чи зашифровані літери.
Сучасні системи зв'язку побудовані без врахування особливостей, що існують у мові, а тому не досить ефективні, так як вони пристосовані для передачі рівноймовірних літер алфавіту, які можуть слідувати один за одним в будь-яких комбінаціях.
Колосальна надмірність притаманна телевізійним зображенням: природно передавати не весь кадр, а тільки інформацію про те, чим відрізняється один кадр від іншого. Цим можна істотно скоротити необхідну (в середньому) смугу частот.
Див. також Плеоназм Теорія кодування Текстовий файл Архіватор
Джерела В.Л. Бройдо, О.П. Ильина Вычислительные системы, сети и телекоммуникации:Учебник для вузов. 4-е изд. – СПб.: Питер, 2011. – 560 с