Mejorar la eficiencia de la anotación humana para la búsqueda de hechos mediante la identificación de las respuestas más relevantes

Este documento fue aceptado en el “Taller de ciencia de datos con el ser humano en el bucle” de EMNLP 2022.

Identificar e integrar los hechos que faltan es una tarea importante para completar los gráficos de conocimiento para garantizar la solidez de los programas posteriores, como la respuesta a preguntas. Agregar nuevos hechos a un gráfico de conocimiento en un sistema del mundo real a menudo implica un esfuerzo de verificación humana, donde los anotadores humanos verifican la precisión de los hechos candidatos. Este proceso es laborioso, lento e ineficiente, ya que solo se puede identificar una pequeña fracción de los datos que faltan. Este documento propone un marco simple pero efectivo para la anotación humana para la recopilación de hechos que busca un conjunto diverso de hechos candidatos altamente relevantes para la anotación humana. Los resultados empíricos presentados en este trabajo muestran que la solución propuesta conduce a mejoras tanto en i) la calidad de los hechos candidatos como en ii) la capacidad de descubrir más hechos para aumentar el gráfico de conocimiento sin requerir un esfuerzo humano adicional.

Source link