MUC (Message Understanding Conferences ) conferencias organizadas por el NIST (National Institute of Standards and Tecnology),que poco a poco se han ido consolidado en el desarrollo de métricas y algoritmos estadísticos para la realización de evaluaciones de sistemas basados en las nuevas tecnologías sobre la extracción de la información. Estas conferencias permiten la evaluación y comparación de diversos sistemas, realizando para la extracción de información; realizando una función parecida a las de las conferencias TREC en el ámbito de la recuperación de información.
Después de cada evaluación, se lleva a cabo una conferencia MUC para que los participantes pongan en común e intercambien opiniones y resultados acerca de la eficacia de cada uno de los sistemas de extracción de información, evaluados con los conjuntos de datos; estableciéndose así unas pautas para determinar la fiabilidad de los sistemas participantes. Los conjuntos de datos utilizados para las evaluaciones eran preparados por los evaluadores para que fueran aplicados a cada uno de los sistemas de extracción de información evaluados.
Los conjuntos de datos utilizados en MUC-7, la última de las conferencias mantenidas, así como aquellos utilizados en MUC-6 son material privado propiedad del Linguistic Data Consortium (LDC) pero están disponibles para su venta.
Trabajo de la Asignatura Sistemas Avanzados de Recuperación de Información (SARI) de la Licenciatura en Documentación, de la Universidad Carlos III de Madrid
Elaborada por: