La teoria de l'informacion, sens precision, es le nom usual designant la teorie de l'informacion de Shannon, qu'es una teoria probabilista permetent de quantificar lo contengut mejan en informacion d'un ensemble de messatges, que lo codatge informatic satisfach una distribucion estatistica precisa. Aqueste domèni trapa son origina scientifica amb Claude Shannon que n'es lo paire fondator amb son article publicat en 1948.
D'entre las brancas importantas de la teoria de l'information de Shannon, i a:
lo codatge de l'informacion, la mesura quantitativa de redondança d'un tèxte, la compression de donadas, la criptografia.
Dins un sens mai general, una teoria de l'informacion es una teoria amb per objectiu de quantificar e qualificar la nocion de contengut en informacion present dins un ensemble de donadas. Atal, existís una autra teoria de l'informacion: la teoria algorithmica de l'informacion, creada per Kolmogorov, Solomonov e Chaitin al començament de las années 1960.
L'informacion segon Shannon, un concèpte de la fisica matematica L'informacion es un concèpte fisic novèl que sorgís dins un camp tecnologic. Lo concèpte teoric d'informacion foguèt introduch dempuèi de recercas teoricas suls sistèmas de telecomunicacion. L'origina d'aquestas recercas ven dels estudis menats a la fin del Sègle XIX, en fisica e en matematica per Boltzmann e Markov sus la nocion de probabilitat d'un eveniment e las possibilitats de mesura d'aquesta probabilitat. Mai recentament, abans la Segonda Guèrra mondiala, las contribucions mai importantas son degudas a la collaboracion dels matematicians e dels ingenhaires de las telecomunicacions, que foguèron menats a envisatjar las proprietats teoricas de tot sistèma de senhals utilizat pels èssers, vivents o tecnics, amb per objectiu la comunicacion. drecha|vinheta|Modèl de la comunicacion de Shannon e Weaver. Segon las òbras de Hartley (1928), Shannon (1948) determina l'informacion coma grandor mesurabla, senon observabla —que pas degun a jamai vist l'informacion— e aqueste ven lo saumièr de la teoria de la comunicacion que realiza amb Warren WeaverC.E. Shannon et W. Weaver : The mathematical Theory of communication, University of Illinois, Urbana III, 1949..
Aquesta teoria nasquèt de preoccupacions tecnicas practicas. La societat Bell cerca a transmetre los messatges de biais a l'encòp mai economic e mai fisable. Tanben l'encastre d'origina de la teoria es aqueste d'un sistèma de comunicacions o un emetor transmet un messatge a un receptor mejans un canal material/energetic donat. Emetor e receptor an per ipotèsi un repertòri comun, un còdi que conten las categorias de senhals utilisables. Atal lo messatge encodat es transmes, de l'emetor al receptor mejans lo canal, jos forma de signes o senhals portats per la matèria/energia.
Atal, lo concèpte d'informacion foguèt l'objècte d'una teoria que la posteritat causissèt de nomenar « teorie de l'informacion » alara que s'agiriá, de parlar verai, d'una teoria matematica de la comunicacion de l'informacion; mas aquesta expression es exactament aquesta de Shannon e Weaver ! Aquesta font de confusion es regularament mencionada dins la literatura. Se dich, en l'escasença, que l'expression abreujada foguèt retenguda per l'usatge; l'emplec del sigle TMCI clarificariá pasmens la situacion.
Aquesta teoria matematica aplicada a las tecnicas de la telecomunicacion foguèt realizada mai especialament per Claude Shannon, ingenhaire a la Companhiá dels Telefons Bell e demora fins ara la basa del concèpte dich scientific d'informacion. Pasmens, aquesyta teoria poiriá pas se piejar ni sus la forma materiala/energetica, ni sul contengut cognitiu dels messatges emeses: lor contengut semantic es daissat de costat, e tanben lor contenent fisic, per s'interessar pas qu'als aspèctes matematics e comunicacionals.
Dins sa concepcion originala, la teoria de l'informacion de Shannon se limitèt a analisar los mejans de realizar dins las tecnicas de telecomunicacion per transmetre l'informacion mai avidament possible e amb mai de seguretat. S'esforcèt dons de desvelopar de metòdes susceptibles de minimizar la probabilitat d'error dins la reconeissença del messatge. Una nocion fondamentala serà necessària per desvelopar aquestes metòdes: la mesura de l'informacion, al sens matematic del tèrme.
Per Shannon, l'informacion presenta un caractèr subretot aleatòri. Un eveniment aleatòri es per definicion pas segur. Aquesta incertitud es presa coma mesura de l'informacion. Una informacion serà donc unicament definida per sa probabilitat (I = - log p). Donc l'informacion es la mesura de l'incertitud calculada a partir de la probabilitat de l'eveniment. Shannon a donc confondut la nocion d'informacion e de mesura d'incertitud. Cal remarcar que dins aquesta definicion l'informacion es plan sinonime de mesura d'incertitud. Dins aqueste òrdre d'idèa, mai una informacion es incertana, mai es interessanta, e un eveniment segur conten pas cap d'informacion. En teoria de l'informacion de Shannon, s'agís donc de rasonar en probabilitat e non pas en logica pura.
L'informacion de Shannon se mesura en unitats binaras dichas bits. Lo bit se pòt definir coma un eveniment que desnosa l'incertitud d'un receptor plaçat fàcia a una alternativa que ambedoas eissidas son per el equiprobablas. Mai las eventualitats que pòt envisatjar aqueste receptor son nombrosas, mai lo messatge ten d'eveniments informatius, mai creis la quantitat de bits transmes. Es clar que pas cap de receptor mesura en bits l'informacion obtenguda dins un messatge. Es solament lo constructor d'un canal de telecomunicacion qu'a besonh de la teoria, e mesura l'informacion en bits per far la transmission de messatge mai economica e mai fiasbla possibla.
La nocion d'informacion segon Shannon es necessàriament associada a la nocion de « redondança » e a aquesta de « bruch ». Per exemple, en linguistica l'informacion es ni dins lo mot, ni dins la sillaba, ni dins la letra. I a letras veire de sillabas que son inutilas a la transmission de l'informacion que conten lo mot: i a dins una frasa, de mots inutils a la transmission de l'informacion. La teoria de Shannon nomena redondança tot çò que dins lo messatge apareis coma en demai. Alara es economic de transmetre pas la redondança.
L'informacion camina mejans un canal material/energetic: fial telefonic, onda radio, etc. Mas, dins son caminament, l'informacion encontra de bruch. Lo bruch es constituit per las perturbacions aleatòrias de totas menas que sorgisson dins lo canal de transmission e tendon a trebolar lo messatge. Lo problèma de la degradacion de l'informacion pel bruch es donc un problèma inerent a sa comunicacion. Aicí, l'idèa de redondança presenta una fàcia novèla; alara qu'apareis coma un demai inutil jol vejaire economic, ven, del viajaire de la fiabilitat de la transmission un fortificant contra lo bruch, un preventiu contra los riscs d'ambiguïtat e d'error a la recepcion.
L'estatut fisic de la teoria de l’informacion Lèu fòrça aplicacions de la teoria de l'informacion de Shannon apareguèron dins lo domèni de las sciéncias umanasVoir par exemple, R. Escarpit : Théorie générale de l'information et de la communication, Hachette 1980.: los modèls matematicas elaborats permetèron de precisar de concèptes utilizats de biais corrent dins los analisis linguistics estructurals, al mèsme temps que fasián aparéisser las limitas inerentas a aqueste tipe d'analisi e provocavan de recercas novèlas (en traduccion automatica e en psicolinguistica). Alara que se desvolopavan un camp scientific novèl: la ciberneticaLa cybernétique naquit en happant le concept scientifique d'information naissant pour l'intégrer dans la théorie des machines. La cybernétique est une discipline entamée par Norbert Wiener en 1948. Elle est définie comme étant l'étude de la théorie de la commande et de la communication tant dans la machine que dans les êtres vivants. En effet, dans la conception de Wiener, la cybernétique n'est pas seulement une science des machines mais s'intéresse à tout système, vivant ou non, capable d'auto-contrôle et de communication. Ainsi Wiener fonda la cybernétique en liant la commande à la communication de l'information..
Pasmens, una caracteristica majora de la teoria de Shannon es de donar a la nocion d'informacion (tal que definida per aquesta teoria) un estatut fisic d'esperela. Efectivament, l'informacion pren los caractèrs fondamentals de tota realitat fisica organizada: abandonada a e la mèsma, pòt evoluir pas que dins lo sens de sa desorganisacion, e a dire la creissença d'entropia; de fach, l'informacion subís, dins aquestas transformacions (codatge, transmission, descodatge, etc.), l'efièch irreversible e creissent de la degradacion. En consequéncia Shannon definís coma entropia d'informacion la mesura H ( H = - K log p). De biais susprenent, l'equacion per que Shannon definís l'entropia de l'informacion coïncidìs, masde signe invèrs, amb l'equacion de Boltzmann-Gibbs definissent l'entropia S en termodinamica (S = K log p). Aqueste episòdi important foguèt fòrça comentatJérôme Segal. Le zéro et le un. Histoire de la notion scientifique d'information au . Éditions Syllepse, 2003, 890 p. . James Gleick. The information. A history, a theory, a flood. Fourth Estate, 2011, 527 p. ..
Unes, coma CouffignalL. Couffignal : La cybernétique, PUF, Que sais-je ?, Paris 1968., sostenguèron que la coïncidéncia es sens signifiacion: l'aplicacion de la foncion de Shannon a la termodinamica e a l'informacion seriá un azard d'encontra de l'aplicacion d'una mèsma formula matematica, pas res pus. De segur, pòt i aver encontre de doas equacions de probabilitat venent d'universes diferents.
al contrari, Brillouin aviá pretendut establir una relacion logica entre la H de Shannon e la S de Boltzmann, çò que retenguèt gaireben totes los cercaires qu'aplican la teoria a las disciplinas non matematicas, la biologia sobretot Segon aqueste vejaire, es possible d'inscriure l'informacion tot coma la definís Shannon dins la fisica. En efièch, existís una dualitat dins lo concèpte d'informacion ligant l'informacion a la matèria/energia veïculant aquesta informacion. L'informacion tal coma definida per Shannon s'enrasiga atal dins la fisica d'un costat, dins las matematicas d'autre, mas sens que se pòscala reduire als mèsres-concèptes de la fisica classica: massa e energia. Coma lo dich Wiener: , çò que dobrís las concepcions diferentas, a començar per aquesta d'un tresen constituent de l'univèrsDoyle, R. (Bob) et "The Information Philosopher" : www.informationphilosopher.com (I-Phi ou Pi). Stonier, T. Information and the internal structure of the universe. Springer Verlag, 1990. Beyond information. The natural history of intelligence. Springer Verlag, 1992. , après la matèria e l'energia precisament!
Desvelopament de la teoria matematica de l'informacion La teoria matematica de l'Informacion resulta d'en primièr d'òbras de Ronald Aylmer Fisher. Aqueste, estatistician, definís formalament l'informacion coma egala a la valor mejana del carrat de la derivada parciala (δ) del logaritme natural de la lei de probabilitat estudiada.
A partir de l'inegalitat de Cramer, se deduch que la valor d'una tala informacion es proporcionala a la feble variabilitat de las conclusons resultantas. En tèrmes simples, mens una observacion es probabla mas es portaira d'informacion. Per exemple, quand lo jornalista comrnça lo jornal televizat per la frasa « Bonser », aqueste mot, que presenta una fòrta probabilitat, dona pauc d'informacion. Mas, se la primière phrasa es, per exemple « La França a paur », sa feble probabilitat farà que l'auditor aprendrà que quicòm se passèt, e, alara, serà mai a l'escocha.
D'autres modèls matematicas completèron e espandiguèron de biais formal la definicion de l'informacion.