Los algoritmos presentados para un desafío de inteligencia artificial organizado por la RSNA han demostrado un excelente desempeño para detectar cánceres de mama en imágenes de mamografía, aumentando la sensibilidad de detección y manteniendo bajas tasas de recuperación, según un estudio publicado en Radiology.
El Challenge de IA para la Detección del Cáncer de Mama mediante Mamografía de Cribado de la RSNA fue una competencia de colaboración abierta que se celebró en 2023, con la participación de más de 1500 equipos. El artículo de Radiology detalla un análisis del rendimiento de los algoritmos, dirigido por la Dra. Yan Chen, profesora de cribado del cáncer en la Universidad de Nottingham (Reino Unido).
“Nos impresionó la cantidad de participantes y algoritmos de IA presentados como parte del Desafío”, afirmó la profesora Chen. “Es uno de los Challenge de IA de la RSNA con mayor participación. También nos impresionó el rendimiento de los algoritmos, considerando el plazo relativamente corto para su desarrollo y el requisito de obtener datos de entrenamiento de fuentes abiertas”.
El objetivo del challenge fue obtener modelos de IA que mejoren la automatización de la detección del cáncer en las mamografías de detección, ayudando a los radiólogos a trabajar de manera más eficiente, mejorando la calidad y la seguridad de la atención al paciente y reduciendo potencialmente los costos y los procedimientos médicos innecesarios.
La RSNA invitó a equipos de todo el mundo a participar. La Universidad Emory de Atlanta, Georgia, y BreastScreen Victoria de Australia proporcionaron un conjunto de datos de entrenamiento de aproximadamente 11.000 imágenes de mamografía, y los participantes del Challenge también pudieron obtener datos de entrenamiento públicos para sus algoritmos.
El equipo de investigación de la profesora Chen evaluó 1.537 algoritmos funcionales presentados al desafío y los probó en un conjunto de 10.830 exámenes de una sola mama (completamente separados del conjunto de datos de entrenamiento) que fueron confirmados por resultados de patología como positivos o negativos para el cáncer.
En conjunto, los algoritmos arrojaron una mediana de especificidad del 98,7 % para confirmar la ausencia de cáncer en las imágenes de mamografía, una sensibilidad del 27,6 % para la identificación positiva del cáncer y una tasa de recuperación (el porcentaje de casos que la IA consideró positivos) del 1,7 %. Al combinar los 3 y los 10 algoritmos con mejor rendimiento, la sensibilidad aumentó al 60,7 % y al 67,8 %, respectivamente.
“Al reunir las entradas con mejor rendimiento, nos sorprendió la gran complementariedad de los distintos algoritmos de IA, que permitían identificar distintos tipos de cáncer”, afirmó la profesora Yan Chen. “Los algoritmos contaban con umbrales optimizados para un valor predictivo positivo y una alta especificidad, por lo que las distintas características del cáncer en distintas imágenes generaban puntuaciones altas de forma distinta para los distintos algoritmos”.
Según los investigadores, la creación de un conjunto de los 10 algoritmos de mejor rendimiento produjo un desempeño cercano al de un radiólogo de detección promedio en Europa o Australia.
Los algoritmos individuales mostraron diferencias significativas en su rendimiento según factores como el tipo de cáncer, el fabricante del equipo de imagenología y el centro clínico donde se adquirieron las imágenes. En general, los algoritmos mostraron mayor sensibilidad para detectar cánceres invasivos que para los no invasivos.
Dado que muchos de los modelos de IA de los participantes son de código abierto, los resultados del Challenge pueden contribuir a una mayor mejora de las herramientas de IA tanto experimentales como comerciales para la mamografía, con el objetivo de mejorar los resultados del cáncer de mama en todo el mundo, explicó la profesora Yan Chen.
“Al poner a disposición del público los algoritmos y un conjunto completo de datos de imágenes, los participantes aportan recursos valiosos que pueden impulsar futuras investigaciones y facilitar la evaluación comparativa necesaria para la integración eficaz y segura de la IA en la práctica clínica”, afirmó.
El equipo de investigación planea realizar estudios de seguimiento para comparar el desempeño de los principales algoritmos Challenge con el de los productos disponibles comercialmente utilizando un conjunto de datos más grande y más diverso.
“Además, investigaremos la eficacia de conjuntos de pruebas más pequeños y complejos con sólidos parámetros de lectura humana, como los desarrollados por el programa PERFORMS, un programa del Reino Unido para evaluar y garantizar la calidad del desempeño de los radiólogos como enfoque para la evaluación de la IA, y compararemos su utilidad con la de conjuntos de datos a gran escala”, afirmó la profesora Yan Chen.
La RSNA organiza anualmente un desafío de inteligencia artificial; la competencia de este año busca presentaciones de modelos que ayuden a detectar y localizar aneurismas intracraneales.