Automated methods of segmentation and analysis of Thai texts

Méthodes de segmentation et d'analyse automatique de textes thaï

Krit Kosawat (1)

1 LIGM - Laboratoire d'Informatique Gaspard-Monge

The aim of this thesis is to design and implement a computational linguistic module for analysing Thai texts under the INTEX © system. Based essentially on Indo-European languages written in the Latin alphabet, INTEX © encounters some difficulties when processing a very different language such as Thai. The crucial problem is word and sentence segmentation, since Thai has no word separator: a sentence is written as a continuous sequence of letters, and sentence separators are frequently ambiguous. Accordingly, we have developed and evaluated two methods of word segmentation, firstly by using Regular Expressions and secondly Finite-State Transducers, which segment Thai texts into letters and syllables respectively. We have also created Thai Electronic Dictionaries, which are used to recognise words from letters or from syllables and, at the same time, to label them with syntactic and semantic tags. Two methods of Thai sentence segmentation, based on punctuation marks and keywords, are also proposed and evaluated. Finally, we demonstrate that, as a result of our work, INTEX © is able to analyse Thai documents in spite of the difficulties involved.

Ce travail de thèse a pour objectif de concevoir et réaliser un module informaticolinguistique apte à effectuer des analyses automatiques de textes thaï sous le système INTEX © . Basé fondamentalement sur les langues indo-européennes écrites avec l'alphabet latin, INTEX © rencontre quelques difficultés pour travailler sur une langue très différente comme le thaï. Le problème crucial est la segmentation en mots et en phrases, étant donné que le thaï n'a pas de séparateur de mot : une phrase est écrite en une séquence de lettres continues, et les séparateurs de phrase sont fréquemment ambigus. Aussi avons-nous développé et évalué deux méthodes de segmentation en mots, par expressions rationnelles et par transducteurs à nombre fini d'états, qui découpent respectivement des textes thaï en lettres et en syllabes. Nous avons également créé les dictionnaires électroniques du thaï qui servent à la fois à reconnaître les mots à partir des lettres ou des syllabes et à les étiqueter avec les codes syntaxiques et sémantiques. Deux méthodes de segmentation en phrases thaï, par la ponctuation et par mots-clés, sont également proposées et évaluées. Nous montrons enfin que, grâce à notre travail, INTEX © est capable d'analyser des documents thaï, malgré toutes les difficultés.

Mots clés: Word Segmentation; Sentence Segmentation; Electronic Dictionary; Texts Analysis; Automata; Transducer; Regular Expression

Mots clés: segmentation en mots; segmentation en phrases; dictionnaire électronique; analyse automatique de textes; thaï; INTEX; automate; transducteur; expression rationnelle

Domaines: Autre [cs.OH]

Krit Kosawat. Méthodes de segmentation et d'analyse automatique de textes thaï. Autre [cs.OH]. Université Paris-Est, 2003. Français. ⟨NNT : ⟩. ⟨tel-00626256⟩