Topology of statistical systems : a cohomological approach to information theory
Topologie des systèmes statistiques : une approche cohomologique à la théorie de l’information
Résumé
This thesis extends in several directions the cohomological study of information theory pioneered by Baudot and Bennequin. We introduce a topos-theoretical notion of statistical space and then study several cohomological invariants. Information functions and related objects appear as distinguished cohomology classes; the corresponding cocycle equations encode recursive properties of these functions. Information has thus topological meaning and topology serves as a unifying framework.Part I discusses the geometrical foundations of the theory. Information structures are introduced as categories that encode the relations of refinement between different statistical observables. We study products and coproducts of information structures, as well as their representation by measurable functions or hermitian operators. Every information structure gives rise to a ringed site; we discuss in detail the definition of information cohomology using the homological tools developed by Artin, Grothendieck, Verdier and their collaborators.Part II studies the cohomology of discrete random variables. Information functions—Shannon entropy, Tsallis alpha-entropy, Kullback-Leibler divergence—appear as 1-cocycles for appropriate modules of probabilistic coefficients (functions of probability laws). In the combinatorial case (functions of histograms), the only 0-cocycle is the exponential function, and the 1-cocycles are generalized multinomial coefficients (Fontené-Ward). There is an asymptotic relation between the combinatorial and probabilistic cocycles.Part III studies in detail the q-multinomial coefficients, showing that their growth rate is connected to Tsallis 2-entropy (quadratic entropy). When q is a prime power, these q-multinomial coefficients count flags of finite vector spaces with prescribed length and dimensions. We obtain a combinatorial explanation for the nonadditivity of the quadratic entropy and a frequentist justification for the maximum entropy principle with Tsallis statistics. We introduce a discrete-time stochastic process associated to the q-binomial probability distribution that generates finite vector spaces (flags of length 2). The concentration of measure on certain typical subspaces allows us to extend Shannon's theory to this setting.Part IV discusses the generalization of information cohomology to continuous random variables. We study the functoriality properties of conditioning (seen as disintegration) and its compatibility with marginalization. The cohomological computations are restricted to the real valued, gaussian case. When coordinates are fixed, the 1-cocycles are the differential entropy as well as generalized moments. When computations are done in a coordinate-free manner, with the so-called grassmannian categories, we recover as the only degree-one cohomology classes the entropy and the dimension. This constitutes a novel algebraic characterization of differential entropy.
Cette thèse étend dans plusieurs directions l’étude cohomologique de la théorie de l’information initiée par Baudot et Bennequin. On introduit une notion d'espace statistique basée sur les topos, puis on étudie plusieurs invariants cohomologiques. Les fonctions d’information et quelques objets associés apparaissent comme des classes de cohomologie distinguées ; les équations de cocycle correspondantes codent les propriétés récursives de ces fonctions. L'information a donc une signification topologique et la topologie sert de cadre unificateur.La première partie traite des fondements géométriques de la théorie. Les structures d’information sont présentées sous forme de catégories qui codent les relations de raffinement entre différents observables statistiques. On étudie les produits et coproduits des structures d’information, ainsi que leur représentation par des fonctions mesurables ou des opérateurs hermitiens. Chaque structure d’information donne lieu à un site annelé ; la cohomologie de l'information est introduite avec les outils homologiques développés par Artin, Grothendieck, Verdier et leurs collaborateurs.La deuxième partie étudie la cohomologie des variables aléatoires discrètes. Les fonctions d'information — l'entropie de Shannon, l'alpha-entropie de Tsallis, et la divergence de Kullback-Leibler — apparaissent sous la forme de 1-cocycles pour certains modules de coefficients probabilistes (fonctions de lois de probabilité). Dans le cas combinatoire (fonctions des histogrammes), le seul 0-cocycle est la fonction exponentielle, et les 1-cocycles sont des coefficients multinomiaux généralisés (Fontené-Ward). Il existe une relation asymptotique entre les cocycles combinatoires et probabilistes.La troisième partie étudie en détail les coefficients q-multinomiaux, en montrant que leur taux de croissance est lié à la 2-entropie de Tsallis (entropie quadratique). Lorsque q est une puissance première, ces coefficients q-multinomiaux comptent les drapeaux d'espaces vectoriels finis de longueur et de dimensions prescrites. On obtient une explication combinatoire de la non-additivité de l'entropie quadratique et une justification fréquentiste du principe de maximisation d'entropie quadratique. On introduit un processus stochastique à temps discret associé à la distribution de probabilité q-binomial qui génère des espaces vectoriels finis (drapeaux de longueur 2). La concentration de la mesure sur certains sous-espaces typiques permet d'étendre la théorie de Shannon à ce cadre.La quatrième partie traite de la généralisation de la cohomologie de l'information aux variables aléatoires continues. On étudie les propriétés de fonctorialité du conditionnement (vu comme désintégration) et sa compatibilité avec la marginalisation. Les calculs cohomologiques sont limités aux variables réelles gaussiennes. Lorsque les coordonnées sont fixées, les 1-cocycles sont l’entropie différentielle ainsi que les moments généralisés. Les catégories grassmanniennes permettent de traiter les calculs canoniquement et retrouver comme seuls classes de cohomologie de degré 1 l'entropie et la dimension. Ceci constitue une nouvelle caractérisation algébrique de l'entropie différentielle.
Origine : Version validée par le jury (STAR)
Loading...