La description physique a conduit à découvrir un lien remarquable entre l'information et l'entropie. Cette similitude a été signalée il y a longtemps par L. Szilard dans une publication déjà ancienne, datant de 1929 ; il s'y révèle comme un précurseur de la théorie actuelle. Dans ce travail, Szilard fait figure de pionnier dans cette contrée inconnue que nous avons explorée dans toutes les directions. Il étudie le problème du démon de Maxwell, problème qui est une des questions importantes étudiées dans cet ouvrage. La relation entre l'information et l'entropie a été redécouverte par C. Shannon dans l'étude d'une grande variété de problèmes et nous consacrons plusieurs chapitres à cette question. Nous montrons que l'information doit être considérée comme un terme négatif figurant dans l'entropie d'un système ; en bref, l'information est de la néguentropie. L'entropie d'un système physique est souvent considérée comme une mesure de l'incertitude où l'on se trouve sur la structure de ce dernier. Nous pouvons parvenir à ce résultat par deus chemins peu différents.
Tout système physique est incomplètement défini. Nous connaissons seulement les valeurs de quelques variables macroscopiques et nous sommes incapables de définir les positions exactes ainsi que les vitesses de toites les molécules intérieures au système. Nous ne possédons qu'une information limitée et partielle sur notre système et il nous manque la plus grande partie de l'information relative à sa structure intime. L'entropie mesure le manque d'information ; elle nous donne la quantité totale d'information qui fait défaut et qui est relative à la structure ultra-microscopique du système.
Cette façon de voir est exprimée par le principe de néguentropie de l'information qui se présente comme une généralisation immédiate du second principe de la thermodynamique puisque l'entropie et l'information doivent être étudiées de pair et ne peuvent être envisagées séparément. Le principe de néguentropie de l'information se trouve vérifié dans un grand nombre d'exemples variés, tirés de la physique théorique, dans son état actuel. Le point fondamental est de montrer que toute observation ou expérience effectuée sur un système physique conduit automatiquement à un accroissement de l'entropie du laboratoire. Il est alors possible de comparer la perte de néguentropie (accroissement de l'entropie du laboratoire) à la quantité d'information obtenue. Le rendement d'une expérience peut être défini comme le rapport de l'information obtenue à l'accroissement concomitant de l'entropie. Ce rendement est toujours inférieur à l'unité conformément au principe de Carnot généralisé. Des exemples montrent qu'il ne peut être voisin de l'unité que dans quelques cas particuliers ; dans les autres cas il est très petit.
Léon BRILLOUIN, Introduction