Imprimer

Théorie de l'information

Théorie de l'information

bleu-long.jpg


Affichage par page
Trier par
Référence: 036

bleu.jpg

La description physique a conduit à découvrir un lien remarquable entre l'information et l'entropie. Cette similitude a été signalée il y a longtemps par L. Szilard dans une publication déjà ancienne, datant de 1929 ; il s'y révèle comme un précurseur de la théorie actuelle. Dans ce travail, Szilard fait figure de pionnier dans cette contrée inconnue que nous avons explorée dans toutes les directions. Il étudie le problème du démon de Maxwell, problème qui est une des questions importantes étudiées dans cet ouvrage. La relation entre l'information et l'entropie a été redécouverte par C. Shannon dans l'étude d'une grande variété de problèmes et nous consacrons plusieurs chapitres à cette question. Nous montrons que l'information doit être considérée comme un terme négatif figurant dans l'entropie d'un système ; en bref, l'information est de la néguentropie. L'entropie d'un système physique est souvent considérée comme une mesure de l'incertitude où l'on se trouve sur la structure de ce dernier. Nous pouvons parvenir à ce résultat par deus chemins peu différents.
Tout système physique est incomplètement défini. Nous connaissons seulement les valeurs de quelques variables macroscopiques et nous sommes incapables de définir les positions exactes ainsi que les vitesses de toites les molécules intérieures au système. Nous ne possédons qu'une information limitée et partielle sur notre système et il nous manque la plus grande partie de l'information relative à sa structure intime. L'entropie mesure le manque d'information ; elle nous donne la quantité totale d'information qui fait défaut et qui est relative à la structure ultra-microscopique du système.
Cette façon de voir est exprimée par le principe de néguentropie de l'information qui se présente comme une généralisation immédiate du second principe de la thermodynamique puisque l'entropie et l'information doivent être étudiées de pair et ne peuvent être envisagées séparément. Le principe de néguentropie de l'information se trouve vérifié dans un grand nombre d'exemples variés, tirés de la physique théorique, dans son état actuel. Le point fondamental est de montrer que toute observation ou expérience effectuée sur un système physique conduit automatiquement à un accroissement de l'entropie du laboratoire. Il est alors possible de comparer la perte de néguentropie (accroissement de l'entropie du laboratoire) à la quantité d'information obtenue. Le rendement d'une expérience peut être défini comme le rapport de l'information obtenue à l'accroissement concomitant de l'entropie. Ce rendement est toujours inférieur à l'unité conformément au principe de Carnot généralisé. Des exemples montrent qu'il ne peut être voisin de l'unité que dans quelques cas particuliers ; dans les autres cas il est très petit.
Léon BRILLOUIN, Introduction

38,00 *
Référence: 082

rouge.jpg

Ce livre a un caractère introductif ; on ne suppose donc au lecteur aucune connaissance préalable du Calcul des Probabilités. Il est cependant nécessaire qu'il possède des connaissances dans d'autres branches de la mathématique. Il lui faut non seulement bien connaître les éléments du calcul différentiel et intégral, mais encore être familiarisé avec la théorie des fonctions réelles et des fonctions complexes. De plus une certaine maturité mathématique est souhaitable, ainsi qu'un souci de rigueur dans les démonstrations. Ce livre s'adresse donc à des débutants exigeants.
D'autre part on s'est particulièrement attaché à ce que le lecteur puisse se faire une idée aussi exacte et complète que possible des multiples applications de la théorie dans les autres sciences, dans la technique et dans la vie quotidienne. Dans la description des applications, j'ai utilisé les connaissances acquises au cours de mon travail à l'Institut de Recherches mathématiques de l'Académie hongroise. L'impétueux développement actuel du Calcul des Probabilités et de ses applications, qui s'étendent tous les jours à de nouveaux domaines de la science et de la pratique, exclut naturellement d'avance la prétention d'énumérer tous les champs d'application de la théorie.
Un trait caractéristique du livre hongrois était le grand nombre d'exercices qu'il contenait, beaucoup plus grand qu'il n'est d'usage dans les livres de cours. Ce recueil a été lui aussi profondément transformé ; quelques exercices ont été supprimés et beaucoup d'autres ont été ajoutés. L'éventail des exercices et problèmes est assez large. Certains exercices sont des applications : quiconque a compris le cours peut les résoudre en quelques minutes par un calcul simple ; mais d'autres exigent une certaine réflexion. Enfin, quelques problèmes, qui reprennent des travaux récents, apportent des compléments au texte sous une forme condensée. Mais on a donné d'assez nombreuses indications au lecteur pour lui faciliter la résolution de ces problèmes difficiles. Cependant, dans quelques cas, il lui faudra encore travailler durement. Les problèmes compliqués sont principalement destinés aux lecteurs qui veulent faire un travail de recherche en Calcul des Probabilités ; mais il est vivement conseillé à tous les lecteurs de résoudre par eux-mêmes les exercices les plus faciles. Il serait bon qu'ils essayent d'abord de trouver la solution sans s'aider des indications – quand il y en a. Ils n'y auraient alors recours qu'en désespoir de cause, ou bien comme comparaison ou contrôle.
Alfred RÉNYI, Avant-Propos

48,00 *
*

-5%