Geometry and Inference in Optimization and in Information Theory
Géométrie et inférence dans l'optimisation et en théorie de l'information
Résumé
Optimization and constraint satisfaction problems on sets of discrete variables are the main object of algorithmic complexity. These problems have recently benefited from the tools and concepts of the physics of disordered systems, both theoretically and algorithmically. In particular, it was suggested that the practical difficulties roused by some hard instances of optimization problems may be related to the clustered organisation of their solution spaces, which is reminiscent of a glassy phase. On the other hand, state-of-the-art error-correcting codes, which can be mapped onto optimimization problems, rely on the geometrical separability of its messages to ensure error-free communication. The object of this thesis is to explore this relation between inference properties and geometrical organization within a common framework, in problems from both computational complexity and information theory.
This thesis first introduces interesting problems and concepts pertaining to information theory and optimization, from a physical perspective. Then message-passing methods based on the Bethe approximation are presented. These methods are useful from a physical standpoint, as they allow us to study thermodynamical properties of random ensembles of instances. They are also useful for inference tasks. The analysis of distance spectra using both combinatorial and message-passing methods is performed, and used to prove the existence of the clustering phenomenon in the satisfiability problem, and to study its salient features.
This thesis first introduces interesting problems and concepts pertaining to information theory and optimization, from a physical perspective. Then message-passing methods based on the Bethe approximation are presented. These methods are useful from a physical standpoint, as they allow us to study thermodynamical properties of random ensembles of instances. They are also useful for inference tasks. The analysis of distance spectra using both combinatorial and message-passing methods is performed, and used to prove the existence of the clustering phenomenon in the satisfiability problem, and to study its salient features.
Les problèmes d'optimisation et de satisfaction de contraintes sur des ensembles de variables discrètes sont l'objet principal de la complexité algorithmique. Ces problèmes ont récemment bénéficié des outils et des concepts de la physique des systèmes désordonnés, à la fois théoriquement et algorithmiquement. En particulier, il a été suggéré que les difficultés pratiques soulevées par certaines instances dures de problèmes d'optimisation sont liées à la structure fragmentée de leur espace de solutions, qui rappelle une phase vitreuse. Parallèlement, les codes de correction d'erreur de pointe, qui peuvent être ramenés à des problèmes d'optimisation, reposent sur la séparabilité de leurs messages afin d'assurer une communication fiable. L'objet de cette thèse est d'explorer, dans un cadre commun, cette relation entre les propriétés d'inférence et l'organisation géométrique, dans les problèmes issus de la complexité algorithmique et de la théorie de l'information.
Après une introduction physique des problèmes et des concepts liés aux domaines sus-évoqués, les méthodes de passage de messages, basées sur l'approximation de Bethe, sont introduites. Ces méthodes sont utiles d'un point de vue physique, car elle permettent d'étudier les propriétés thermodynamiques d'ensemble d'instances aléatoires. Elles sont également utiles pour l'inférence. L'analyse de spectres de distances est ensuite effectuée à l'aide de méthodes combinatoires et de passage de messages, et mises à profit afin de prouver et l'existence de la fragmentation dans les problèmes de satisfaction de contraintes, et d'en étudier les aspects importants.
Après une introduction physique des problèmes et des concepts liés aux domaines sus-évoqués, les méthodes de passage de messages, basées sur l'approximation de Bethe, sont introduites. Ces méthodes sont utiles d'un point de vue physique, car elle permettent d'étudier les propriétés thermodynamiques d'ensemble d'instances aléatoires. Elles sont également utiles pour l'inférence. L'analyse de spectres de distances est ensuite effectuée à l'aide de méthodes combinatoires et de passage de messages, et mises à profit afin de prouver et l'existence de la fragmentation dans les problèmes de satisfaction de contraintes, et d'en étudier les aspects importants.
Loading...