EVALUACIÓN Y RESULTADOS

 

La evaluación de los sistemas de detección y etiquetado de nombres de fármacos, que se ha presentado en este trabajo, cuenta con dos dificultades añadidas. Por un lado, la ausencia de planteamientos similares con los que comparar la eficacia del sistema propuesto. La mayoría de los sistemas de reconocimiento de entidades biomédicas se han centrado principalmente en los nombres de los genes y proteínas. No obstante, también se han realizado trabajos sobre la detección de otro tipo de entidades como sustancias químicas y fármacos. Estos últimos trabajos, aunque utilizan herramientas del PLN, se basan fundamentalmente en métodos que equiparan de forma automática los nombres de fármacos a conceptos dentro de un sistema de codificación normalizado, como Metatesauro UMLS® (Unified Medical Language System®). Por otra parte, otro gran obstáculo en la evaluación del modelo de etiquetado propuesto reside en la falta de corpus de evaluación. A pesar de que durante los últimos años se han desarrollado varios corpus biomédicos para evaluar el rendimiento de los sistemas que utilizan PLN, tales como TREC Genomics Track, GENETAG, BioCreative (Critical Assessment of Information Extraction systems in Biology), no disponemos de corpus etiquetados en el dominio farmacológico.

Teniendo en cuenta las limitaciones anteriores, la evaluación de nuestro sistema se realiza sobre una colección de textos extraídos de la base de datos Medline, que está compuesto por 259 resúmenes de artículos científicos. Por otra parte, hemos utilizado los parámetros de precisión y exhaustividad (recall), que son los que se emplean habitualmente en las herramientas basadas en PLN. El parámetro de precisión se define aquí como la proporción de nombres de fármacos genéricos identificados correctamente. La exhaustividad se define como la proporción de nombres de fármacos genéricos que el sistema es capaz de identificar y anotar. Incorporando estas dos métricas de evaluación, nuestro propósito es medir el grado de corrección y eficacia con el que el sistema es capaz de reconocer y etiquetar los nombres de fármacos genéricos en la literatura biomédica. Las dos medidas se calculan con las siguientes ecuaciones:

Además, vamos a evaluar el sistema con la medida F (F-Measure) que combina en un solo valor la exhaustividad y la precisión. Se trata de una media ponderada y armónica que sirve para corregir el error de distancia en los casos en los que la exhaustividad y la precisión se compensan, de tal forma que a mayor valor de F-Mesaure mejor resultado. Su ecuación es:

Para poder aplicar los parámetros anteriores, necesitaríamos adquirir los siguientes datos:

•  Número de nombres de fármacos identificados y anotados correctamente. Para adquirir estos datos, contrastamos cada uno de lo nombres de fármacos genéricos reconocidos por el método propuesto con la información que nos proporciona el portal de nombres de fármacos, Drug Information Portal, producido por U.S. National Library of Medicine (NLP). Además, los nombres de fármacos reconocidos se han contrastado con la información que aporta la base de datos de libre acceso ChemSynthesis.
• Número total de nombres de fármacos genéricos identificados y anotados. Para obtener estos datos aplicamos los analizadores léxicos y sintácticos, que se han diseñado, al corpus extraído de la base de datos Medline.
• Número total de nombres de fármacos posibles existentes en el corpus. Estos datos se obtienen por un proceso manual realizado por un experto, lo que implica una gran cantidad de tiempo y de esfuerzo, por la falta de corpus etiquetados para el dominio farmacológico.