La force d'une idée simple : hommage à Claude Shannon à l'occasion du centenaire de sa naissance
Résumé
De nombreuses fautes de frappe n’empêchent pas de reconnaître sans ambiguïté un texte pourvu que la forme altérée ressemble plus au texte initial qu’à tout autre texte admissible. Jointe à une utilisation systématique de la loi des grands nombres qui implique la propriété d’équipartition asymptotique (AEP), cette simple remarque est à la base de la découverte par Claude Shannon de la limite H < C aux performances de tout code correcteur d’erreurs permettant une transmission fiable d’information par un canal “bruité” (i.e. “faisant des erreurs”) ainsi que de l’existence d’un code permettant d’approcher arbitrairement près de cette limite. Toutes deux de nature probabiliste, l’entropie H d’une source de messages et la capacité C d’un canal de transmission sont définies par Shannon dans l’article [Sh] qu’il publie en 1948 dans la revue des “Bell labs”, l’année même où, dans les mêmes Bell labs, John Bardeen, Walter Brattain et William Shockley font la première démonstration du fonctionnement d’un transistor. Ainsi, des deux découvertes simultanées dont est né le monde d’information dans lequel nous vivons, l’une est de pure mathématique et même de la pire espèce, un théorème d’existence !
Domaines
Astrophysique [astro-ph]Origine | Fichiers produits par l'(les) auteur(s) |
---|