Leveraging large scale Web data for image retrieval and user credibility estimation
Recherche d'images et estimation automatique de la crédibilité des utilisateurs à partir de données du Web à large échelle
Résumé
While research in visual and multimedia recognition and retrieval has significantly benefited from manually labeled datasets, the availability of such resources remains a serious issue. Manual annotation is still a cumbersome task, especially when it is conducted on large datasets. A promising way to circumvent the lack of annotated data is to use images shared on multimedia social networks, such as Flickr. One of the main drawbacks of user-contributed collections is that a part of images annotations is not directly related to the visual content, rendering them less useful for image mining. The work presented in this Thesis is placed at the crossroads between the use of Web data in image mining and source credibility in image sharing platforms. It aims at bringing novel findings to both domains and furnishing a promising link between two separate fields of research. The theoretical frameworks and experimental results we detail can benefit both i) researchers coming from the multimedia mining community, by introducing efficient semantic image representations built from freely available image resources and ii) researchers interested in Web data quality and source credibility, by proposing a study of credibility in the multimedia domain and testing practical applications of user credibility estimates. We propose a scalable image classification framework that exploits binary linear classifiers. To implement this framework, we compare two data sources: a large manually annotated image dataset (i.e. ImageNet) and Flickr groups. For the second, we details methods that reduce the noise inherent to a Web collection. In an extended experimental section, we show that the proposed semantic features not only improve the retrieval performance on three well known image collections, when compared to state of the art image descriptors, but also offer a significant improvement of retrieval time. We then define the concept of user tagging credibility and apply it to Flickr users. We propose 66 features that can serve as estimators for user credibility. We introduce both context and content based features extracted from various Flickr data. We evaluate the proposed features both on a publicly available dataset and new dataset, which we introduce in this Thesis. Finally, we showcase the use of credibility estimates in two application scenarios: embedding them in an image diversification pipeline and using them as features in machine learning models for expertise classification and expert retrieval tasks. This work contributes to a better understanding and modeling of social intelligence for information processing tasks. We focused on image retrieval and multimedia credibility estimation but the methods proposed here are also relevant for other applications, such as image annotation and Web data quality control.
Le travail présenté dans cette Thèse est placé au carrefour entre l'utilisation de données de Web dans la fouille d'images et la crédibilité des sources dans les plates-formes de partage d'images. Il vise à apporter des découvertes importantes aux deux domaines et fournir un lien prometteur entre deux secteurs séparés de recherche. Les cadres théoriques et les résultats expérimentaux que nous exposons en détail peuvent servir aux chercheurs avec des intérêts différents: i) ceux venant de la communauté de la fouille multimédia, en introduisant des représentations d'images sémantiques efficaces construites à partir des ressources d'images librement disponibles et ii) les chercheurs intéressés à la qualité de données de Web et à la crédibilité des sources, en proposant une étude de crédibilité dans le domaine multimédia et en évaluant des applications pratiques d'estimations de crédibilité d'utilisateur. Nous proposons un cadre de classification d'images évolutif, qui exploite des classifieurs linéaires binaires. Pour implémenter ce framework, nous comparons deux sources de données: un grand jeu de données d'images manuellement annotées (c.-à-d. ImageNet) et les groupes de Flickr. Comme la deuxième ressource est recueillie des images de Web, une partie méthodologique indispensable de travail détaille des méthodes qui réduisent le bruit inhérent à la collection. Dans une section expérimentale prolongée, nous montrons que les descripteurs sémantiques proposés non seulement améliorent la performance de recherche sur trois collections d'images bien connues, quand ils sont comparés à l'état d'art, mais aussi offrent une amélioration significative des temps de recherche. Ensuite, nous définissons le concept de crédibilité des utilisateurs et l'appliquons aux utilisateurs de Flickr. Nous proposons 66 traits qui peuvent servir comme estimateurs pour la crédibilité des utilisateurs. Nous introduisons des traits basés sur le contexte, aussi que des traits basés sur le contenu extrait des différentes données de Flickr. Nous évaluons les traits proposés tant sur une collection publiquement disponible que sur un nouveau jeu de données, que nous introduisons dans cette Thèse. Finalement, nous montrons l'utilité des estimateurs de crédibilité dans deux scénarios d'application: par les introduisant dans un pipeline de diversification d'un système de recherche d'images et le fait de les utiliser comme des traits dans des modèles d'apprentissage pour la classification d'expertise et des tâches de recherche d'experts. Ce travail contribue à une meilleure compréhension et à un modelage d'intelligence sociale pour les tâches de traitement de l'information. Nous nous sommes concentrés sur la recherche d'images et l'estimation de crédibilité dans des plate-formes multimédia, mais les méthodes proposées sont aussi pertinentes pour d'autres applications.
Origine : Fichiers produits par l'(les) auteur(s)