La théorie de l'information, sans précision, est le nom usuel désignant la théorie de l'information de Shannon, qui est une théorie utilisant les probabilités pour quantifier le contenu moyen en information d'un ensemble de messages, dont le codage informatique satisfait une distribution statistique que l'on pense connaître. Ce domaine trouve son origine scientifique avec Claude Shannon qui en est le fondateur avec son article publié en 1948.
Parmi les branches importantes de la théorie de l'information de Shannon, on peut citer : le codage de l'information ; la mesure quantitative de redondance d'un texte ; la compression de données ; la cryptographie.
Dans un sens plus général, une théorie de l'information vise à quantifier et qualifier la notion de contenu en information présent dans un ensemble de données dans un certain contexte. Elle est à distinguer de la théorie algorithmique de l'information, créée par Kolmogorov, Solomonoff et Chaitin au début des années 1960.
Information selon Shannon, concept de la physique mathématique
Mesurer l'information a été rendu nécessaire par les recherches d'efficacité sur les systèmes de télécommunication. L'origine de ces recherches remonte aux études entreprises dès la fin du , en physique et en mathématique par Boltzmann et Markov sur la notion de probabilité d'un événement et les possibilités de mesure de cette probabilité. Plus récemment, avant la Seconde Guerre mondiale, les contributions les plus importantes sont dues à la collaboration des mathématiciens et des ingénieurs des télécommunications, qui ont été amenés à envisager les propriétés théoriques de tout système de signaux utilisé par les opérateurs, vivants ou techniques, à des fins de communication entre un émetteur et un récepteur, par un canal bruité ou non, dans un contexte donné.
vignette|droite|Modèle de la communication de Shannon et Weaver.
À la suite des travaux de Ralph Hartley (1928), Claude Shannon (1948) détermine l'information comme grandeur mesurable, sinon observable et formalise avec elle une théorie de la communication qu'il élabore avec Warren WeaverC.E. Shannon et W. Weaver : The mathematical Theory of communication, University of Illinois, Urbana III, 1949..
Cette théorie est née de besoins pratiques. La société Bell cherche à transmettre les messages d'une façon à la fois économique et fiable. Le cadre originel de la théorie est celui d'un système de communications où un émetteur transmet un message à un récepteur à travers un canal matériel/énergétique donné. Émetteur et récepteur ont par hypothèse un répertoire commun, un code qui contient les catégories de signaux utilisables. Ainsi le message codé est transmis, de l'émetteur au récepteur à travers le canal, sous forme de signes ou signaux pouvant être portés par de la matière ou de l'énergie.
La postérité a choisi d'appeler l'ensemble « théorie de l'information » bien qu'il s'agisse juste d'une théorie mathématique de la communication de l'information ; or c'est cette seconde expression qu'emploient Shannon et Weaver. Cette source de confusion est régulièrement rappelée dans la littérature. On dit, en pareil cas, que l'expression abrégée a été retenue par l'usage ; l'emploi du sigle TMCI clarifierait la situation.
Cette théorie mathématique appliquée aux techniques de la télécommunication a été élaborée plus spécialement par Claude Shannon, ingénieur à la Compagnie des Téléphones Bell et reste jusqu'à nos jours la base du concept quantitatif d'information. Ni la forme matérielle ou énergétique, ni le contenu cognitif des messages n'importent à ce stade : leur sémantique est laissée de côté tout comme leur contenant physique, et la théorie ne se concentre que sur les aspects mathématiques et de communication.
Dans sa conception originale, la théorie de l'information de Shannon s'est limitée à analyser les moyens à mettre en œuvre dans les techniques de télécommunication pour transmettre l'information rapidement (ce qui implique la brièveté) et avec sécurité (ce qui au contraire demande un peu de redondance). Elle étudie donc des méthodes pour minimiser la probabilité d'erreur dans la reconnaissance du message. La mesure de l'information, au sens mathématique du terme, permettra de comparer les résultats de chacune.
Shannon remarque que l'information sert à dissiper une incertitude sur un aléa, par définition incertain. Cette incertitude est prise comme mesure de l'information. Une information sera donc uniquement définie par sa probabilité (). Donc l'information est la mesure de l'incertitude estimée par la probabilité de l'événement. Information et incertitude sont liées. Plus une information est incertaine, plus elle est intéressante, tandis qu'un événement certain, dans un sens ou dans l'autre, ne contient aucune information. On peut donc raisonner en probabilité et non en logique booléenne.
L'information de Shannon peut se mesurer en unités binaires dites bits. Le bit peut être défini comme un événement qui dénoue l'incertitude d'un récepteur placé devant une alternative dont les deux issues sont pour lui équiprobables. Plus les éventualités que peut envisager ce récepteur sont nombreuses, plus le message comporte d'événements informatifs, plus s'accroît la quantité de bits transmis. Il est clair que nul récepteur ne mesure en bits l'information obtenue dans un message. C'est seulement l'ingénieur d'un canal de télécommunication qui a besoin de la théorie, et mesure l'information en bits pour rendre la transmission de message économique, mais cependant fiable dans les limites de son cahier des charges.
La redondance est un moyen de réduire le « bruit ». Dans des cas de fort bruit, une forte redondance permet d'éviter les erreurs à la réception. Il peut s'agir par exemple d'un collationnement (répétition intégrale du message) ou d'un code ("S comme Simone, I comme Isidore...", ou encore les codes utilisées dans l'aviation : Echo, Tango, X-ray...). A contrario, des lettres - voire des syllabes - inutiles à la transmission de l'information peuvent être supprimées sans perte de compréhension, ce qui était déjà utilisé en sténographie.
L'information chemine à travers un canal matériel/énergétique : fil téléphonique, onde radio, etc. Or, dans son cheminement, l'information rencontre du bruit. Le bruit est constitué par les perturbations aléatoires de toutes sortes qui surgissent dans le canal de transmission et tendent à brouiller le message. Le problème de la dégradation de l'information par le bruit est donc un problème inhérent à sa communication. Ici, l'idée de redondance présente une face nouvelle ; alors qu'elle apparaît comme un surplus inutile sous l'angle économique, elle devient, sous l'angle de la fiabilité de la transmission un fortifiant contre le bruit, un préventif contre les risques d'ambiguïté et d'erreur à la réception.
Statut physique de la théorie de l’information
Très vite de multiples applications de la théorie de l'information de Shannon sont apparues dans le domaine des sciences humainesVoir par exemple, R. Escarpit : Théorie générale de l'information et de la communication, Hachette 1980. : les modèles mathématiques élaborés ont permis de préciser certains concepts utilisés couramment dans les analyses linguistiques structurales, en même temps qu'ils faisaient apparaître les limites inhérentes à ce type d'analyse et provoquaient des recherches nouvelles (en traduction automatique et en psycho-linguistique), tandis que se développait un champ scientifique nouveau : la cybernétiqueLa cybernétique naquit en happant le concept scientifique d'information naissant pour l'intégrer dans la . La cybernétique est une discipline entamée par Norbert Wiener en 1948. Elle est définie comme étant l'étude de la théorie de la commande et de la communication tant dans la machine que dans les êtres vivants. En effet, dans la conception de Wiener, la cybernétique n'est pas seulement une science des machines mais s'intéresse à tout système, vivant ou non, capable d'auto-contrôle et de communication. Ainsi Wiener fonda la cybernétique en liant la commande à la communication de l'information.. Cette discipline prendra le nom d'automatique au fur et à mesure qu'elle incorporera des théorèmes.
Une caractéristique de la théorie de Shannon est de donner à la notion d'information (telle que définie par cette théorie) un statut quantitatif à part entière. Effectivement, l'information acquiert les caractères fondamentaux de toute réalité physique organisée : abandonnée à elle-même, elle ne peut évoluer que dans le sens de sa désorganisation, c'est-à-dire l'accroissement d'entropie ; de fait, l'information subit, dans ses transformations (codage, transmission, décodage, etc.), l'effet irréversible et croissant de la dégradation. Par conséquent Shannon définit comme entropie d'information la mesure (). De façon étonnante, l'équation par laquelle Shannon définit l'entropie de l'information coïncide, à un facteur multiplicatif près, avec l'équation de Boltzmann-Gibbs définissant l'entropie en thermodynamique (). Cet épisode important a été abondamment commentéJérôme Segal. Le zéro et le un. Histoire de la notion scientifique d'information au . Éditions Syllepse, 2003, 890 p. . James Gleick. The information. A history, a theory, a flood. Fourth Estate, 2011, 527 p. ..
Certains, comme CouffignalL. Couffignal : La cybernétique, PUF, Que sais-je ?, Paris 1968., ont soutenu que la coïncidence est sans signification : l'application de la fonction de Shannon à la thermodynamique et à l'information serait un hasard de rencontre de l'application d'une même formule mathématique, sans plus. Certes, il peut y avoir rencontre de deux équations de probabilité provenant d'univers différents.
À l'inverse, Brillouin avait prétendu établir une relation logique entre le H de Shannon et le S de Boltzmann, ce que retiennent la plupart des chercheurs qui appliquent la théorie aux disciplines non mathématiques, la biologie en particulier. Selon ce point de vue, il est possible d'inscrire l'information telle que définie par Shannon dans la physique. En effet, il existe une dualité dans le concept d'information reliant l'information à la matière/énergie véhiculant cette information. L'information telle que définie par Shannon s'enracine ainsi dans la physique d'une part, dans les mathématiques d'autre part, mais sans qu'on puisse la réduire aux maîtres-concepts de la physique classique : masse et énergie. Comme le dit Wiener : , ce qui laisse la porte ouverte à des conceptions diverses, à commencer par celle d'un troisième constituant de l'universDoyle, R. (Bob) et "The Information Philosopher" : www.informationphilosopher.com (I-Phi ou Pi). Stonier, T. Information and the internal structure of the universe. Springer Verlag, 1990. Beyond information. The natural history of intelligence. Springer Verlag, 1992. , après la matière et l'énergie précisément !
Développement de la théorie mathématique de l'information vignette|redresse|Claude Shannon. La théorie mathématique de l'Information résulte initialement des travaux de Ronald Aylmer Fisher. Celui-ci, statisticien, définit formellement l'information comme égale à la valeur moyenne du carré de la dérivée partielle () du logarithme naturel de la loi de probabilité étudiée.
À partir de l'inégalité de Cramer, on déduit que la valeur d'une telle information est proportionnelle à la faible variabilité des conclusions résultantes. En termes simples, moins une observation est probable plus elle est porteuse d'information. Par exemple, lorsque le journaliste commence le journal télévisé par la phrase « Bonsoir », ce mot, qui présente une forte probabilité, n'apporte que peu d'information. En revanche, si la première phrase est, par exemple « », sa faible probabilité fera que l'auditeur apprendra qu'il s'est passé quelque chose, et, partant, sera plus à l'écoute.