Automatic Adaptation of Sound Analysis and Synthesis
Adaptation Automatique de la Résolution pour l'Analyse et la Synthèse du Signal Audio
Résumé
In this work, we look for methods providing a local variation of the time-frequency resolution for sound analysis and re-synthesis. In Time-Frequency Analysis, adaptivity is the possibility to conceive representations and operators whose characteristics can be modeled according to their input: the first objective of this work is the formal definition of mathematical models whose interpretation leads to theoretical and algorithmic methods for adaptive sound analysis. The second objective is to make the adaptation automatic; we establish criteria to define the best local time-frequency resolution, with the optimization of appropriate sparsity measures. To be able to exploit adaptivity in spectral sound processing, we then introduce efficient re-synthesis methods based on analyses with varying resolution, designed to preserve and improve the existing sound transformation techniques. Our main assumption is that algorithms based on adaptive representations will help to establish a generalization and simplification for the application of signal processing methods that today still require expert knowledge. In particular, the need to provide manual low level configuration is a major limitation for the use of advanced signal processing methods by large communities. The possibility to dispose of an automatic time-frequency resolution drastically limits the parameters to set, without affecting, and even ameliorating, the treatment quality: the result is an improvement of the user experience, even with high-quality sound processing techniques, like transposition and time-stretch.
Dans cette thèse, on s'intéresse à des méthodes qui permettent de varier localement la résolution temps-fréquence pour l'analyse et la re-synthèse du son. En Analyse Temps-Fréquence, l'adaptativité est la possibilité de concevoir de représentations et opérateurs avec des caractéristiques qui peuvent être modifiées en fonction des objets à analyser: le premier objectif de ce travail est la définition formelle d'un cadre mathématique qui puisse engendrer des méthodes adaptatives pour l'analyse du son. Le deuxième est de rendre l'adaptation automatique; on établit des critères pour définir localement la meilleure résolution temps-fréquence, en optimisant des mesures de parcimonie appropriées. Afin d'exploiter l'adaptativité dans le traitement spectral du son, on introduit des méthodes de reconstruction efficaces, basées sur des analyses à résolution variable, conçues pour préserver et améliorer les techniques actuelles de manipulation du son. L'idée principale est que les algorithmes adaptatifs puissent contribuer à la simplification de l'utilisation de méthodes de traitement du son qui nécessitent aujourd'hui un haut niveau d'expertise. En particulier, la nécessité d'une configuration manuelle détaillée constitue une limitation majeure dans les applications grand public de traitement du son de haute qualité (par exemple: transposition, compression/dilatation temporelle). Nous montrons des exemples où la gestion automatique de la résolution temps-fréquence permet non seulement de réduire significativement les paramètres à régler, mais aussi d'améliorer la qualité des traitements.
Loading...