Según se indica en el paper, "mostramos una reducción absoluta del 5,7% y 1,2% (Estados Unidos y Reino Unido) en falsos positivos y de un 9,4% y 2,7% en falsos negativos". Asimismo, " en un estudio independiente de seis radiólogos, el sistema de IA superó a todos los lectores humanos".
También se realizó una simulación en la que el sistema de IA participó en el proceso de doble lectura que se usa en Reino Unido para detectar cáncer. Como resultado, "descubrimos que el sistema de inteligencia artificial mantenía un rendimiento no inferior y reducía la carga de trabajo del segundo lector en un 88%".
A pesar de que los resultados son prometedores, los investigadores indican que son fruto de una prueba de laboratorio y que los resultados en pruebas reales podrían variar.
"El mundo real es más diverso que el entorno de investigación controlado que se informa en este estudio", dicen.
Otra falencia del estudio es que no se incluyó todas las tecnologías de mamografía que se emplean a diario y la mayoría de imágenes usadas para entrenar el algoritmo "se obtuvieron usando un sistema de mamografía de un solo fabricante".
También se emplearon mamografías 3D y 2D (mamografía convencional), pero no se sabe con exactitud cómo funciona la IA de Google en cada sistema de forma individual.
Desde la revista Nature destacan además que la demografía de la población estudiada por los autores no está bien definida y que, si bien se usa filtra por edad, "el rendimiento de los algoritmos de IA puede depender en gran medida de la población utilizada en los conjuntos [de datos] de entrenamiento".