Sinusoidal Modeling of Polyphonic Sounds
Modélisation Sinusoïdale des Sons Polyphoniques
Résumé
The aim of this thesis is to study a structured representation of polyphonic sounds. Some peaks are selected from successive short-time spectra. An algorithm called "partial tracking" links some of those peaks from frame to frame. This algorithm forms partials : quasi-sinusoidal oscillators with parameters evolving slowly and continuously with time. Several constraints of the analysis of polyphonic signals lead to a spectral representation with artefacts, i.e. some peaks may be corrupted or missing. The tracking of partials across this corrupted spectral representation requires new tracking methods that use characteristics of the sinusoidal model. The predictability of the evolutions of the parameters of the partials as well as the theoretical lack of high frequencies in these evolutions are exploited to propose new algorithms useful for our purposes. Several psychoacoustic cues may then be used to cluster partials like their common onset, their harmonic relation, and the correlated evolutions of their parameters. After this clustering process, some partials may be incomplete due to the presence of several acoustical entities in the same frequency band. These partials are then completed by a novel interpolation algorithm.
L'objet de cette thèse est l'étude d'une représentation structurée pour les sons polyphoniques. Dans un premier temps, certains pics (maxima locaux du spectre de puissance) sont sélectionnés dans une succession de spectres à court terme. Un algorithme dit de "suivi de partiels" relie ensuite de trame en trame certains de ces pics pour former des partiels : oscillateurs quasi-sinusoïdaux dont les paramètres de fréquence et d'amplitude évoluent lentement et de façon continue au cours du temps. Les contraintes liées à l'analyse de signaux polyphoniques amènent des artefacts dans la représentation spectrale, des pics sont manquants ou corrompus. Ces dégradations rendent le plus souvent inopérantes les techniques de suivi de partiel basées sur des heuristiques simples. L'utilisation des contraintes relatives au modèle sinusoïdal, comme le caractère prédictible des évolutions des paramètres des partiels de même que l'absence théorique de hautes fréquences dans ces évolutions permettent de proposer de nouveaux algorithmes de suivi adaptés au problème posé. Cette plus grande fidélité se fait au détriment du coût de calcul, coût qui reste toutefois raisonnable pour la plupart des méthodes proposées dans ce document. L'ensemble des partiels extraits se doit d'avoir de bonnes propriétés pour permettre ensuite une agrégation sans ambiguïté. Une première série de tests évalue un algorithme pour ses propriétés intrinsèques, tandis que la seconde série évalue les propriétés de cet algorithme lorsqu'il est inclus dans un module complet d'analyse / synthèse. A la suite d'un défaut de transmission ou d'une insuffisance de l'analyse, certains partiels peuvent être incomplets ou dégradés. Ces partiels sont alors reconstruits selon un algorithme original d'interpolation basée sur la prédiction linéaire des paramètres de fréquences et d'amplitude évitant les discontinuités de phase aux bornes de la zone interpolée. Enfin, les partiels présentant certaines corrélations sont ensuite agrégés pour former des entités sonores, chaque entité étant perçue par le système auditif humain non plus comme plusieurs sons simples mais comme un unique son complexe. On utilise pour cela plusieurs indices issus d'études psychoacoustiques tels que l'apparition simultanée de partiels, leur relation d'harmonicité et les évolutions corrélées de leurs paramètres.
Loading...