Epistemic Approval Voting : Applications to Crowdsourcing Data Labeling

Vote par approbation épistémique : applications à l'étiquetage des données par crowdsourcing

Tahar Allouche (1)

1 LAMSADE - Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision

In epistemic approval voting, there is a hidden ground truth, and voters select the alternatives which, according to their beliefs, can correspond to the ground truth. These votes are then aggregated to estimate it. We first focus on tracking a simple truth, where exactly one alternative is correct. We advocate using aggregation rules that assign more weight to voters who select fewer alternatives, as they tend to be more accurate. This yields novel methods backed by theoretical results and experiments on image annotation datasets. Second, we consider cases where the ground truth contains multiple alternatives (e.g., notes in a chord, objectively best applicants). The size of the output can be either a prior knowledge on the number of true alternatives, or an exogenous constraint bearing on the output of the rule regardless ofthe true size of the ground truth. We propose suitable solution concepts for each of these two interpretations.

Dans le vote par approbation épistémique, les agents sont confrontés à une question comportant plusieurs alternatives et une vérité objective cachée. Les votants sélectionnent les alternatives qui, suivant leurs croyances, peuvent correspondre à la vérité. Les croyances des votants sont agrégées pour estimer cette vérité. D’abord, nous considérons le cas où une seule alternative est correcte. Nous recommandons des règles d’agrégation qui attribuent plus de poids aux votants ayant sélectionné peu d’alternatives, car ils ont tendance à être plus précis. Il en découle de nouvelles méthodes fondées sur des résultats théoriques et validées par des expériences numériques. Ensuite, nous considérons le cas où la vérité est constituée de plusieurs alternatives (les notes d’un accord, les meilleurs candidats.). La taille de la sortie dans de telles situations peut être connue au préalable ou limitée par une contrainte exogène. Nous proposons des solutions adaptées à chacun de ces deux cas.

Mots clés: Epistemic approval voting; Maximum likelihood estimation; Crowdsourcing; Data labeling

Mots clés: Vote d'approbation épistémique; Estimation du maximum de vraisemblance; Crowdsourcing; Labellisation des données

Domaines: Recherche opérationnelle [math.OC]

Tahar Allouche. Epistemic Approval Voting : Applications to Crowdsourcing Data Labeling. Operations Research [math.OC]. Université Paris sciences et lettres, 2022. English. ⟨NNT : 2022UPSLD056⟩. ⟨tel-04164259⟩