La inteligencia artificial ha sido de poca ayuda en el diagnóstico de covid-19

Mediante Michael roberts

¿HAY problemas que la inteligencia artificial no pueda resolver? Los métodos como el aprendizaje profundo encuentran usos en todo, desde algoritmos que recomiendan lo que debe comprar junto con aquellos que predicen los hábitos de voto de alguien. El resultado es que la IA ha desarrollado una reputación algo mística como una herramienta capaz de digerir muchos tipos diferentes de datos y predecir con precisión muchos resultados diferentes, una capacidad que podría ser particularmente útil para resolver problemas previamente impenetrables en el cuidado de la salud.

Sin embargo, la IA no es una panacea. Con demasiada frecuencia se usa demasiado rápido y por impulso, lo que lleva a afirmar que funciona cuando no lo hace. Esto se hizo cada vez más evidente durante la pandemia de covid-19, ya que muchos investigadores de IA incursionan en la atención médica, con poco éxito.

No es de extrañar que mucha gente piense que la atención médica es un área prometedora para la IA, ya que los hospitales generan una gran cantidad de datos, en los que se basa el aprendizaje profundo. La asociación ya ha dado sus frutos, con sistemas de inteligencia artificial capaces de ayudar a identificar el cáncer antes y predecir mejor a qué tratamientos responderán las personas.

Publicidad

En las primeras etapas de la pandemia, hubo una avalancha de publicaciones que intentaban hacer lo mismo con el covid-19. En particular, hay cientos de artículos que afirman que las técnicas de aprendizaje automático pueden usar escáneres de tórax para diagnosticar rápidamente el covid-19 y predecir con precisión cómo les irá a los pacientes.

Mis colegas y yo revisamos cada uno de estos artículos publicados entre el 1 de enero de 2020 y el 3 de octubre de 2020 y descubrimos que ninguno de ellos produjo herramientas lo suficientemente buenas para usar en un entorno clínico (Nature Machine Intelligence, doi.org/gjkjvw). Algo realmente ha salido mal cuando se publican más de 300 artículos sin ningún beneficio práctico.

Nuestra revisión encontró que a menudo había problemas en cada etapa del desarrollo de las herramientas mencionadas en la literatura. Los artículos mismos a menudo no incluían detalles suficientes para reproducir sus resultados.

Otro problema fue que muchos artículos introdujeron sesgos significativos con el método de recolección de datos, el desarrollo del sistema de aprendizaje automático o el análisis de los resultados. Por ejemplo, una proporción significativa de sistemas diseñados para diagnosticar el covid-19 a partir de radiografías de tórax se entrenaron en adultos con covid-19 y en niños sin él, por lo que sus algoritmos tenían más probabilidades de detectar si una radiografía era de un adulto. o un niño solo si esa persona tenía covid-19.

Si bien los autores pueden haber estado motivados por el deseo de desarrollar modelos que pudieran ayudar a las personas, en su prisa muchas publicaciones no consideraron cómo estos modelos pueden o no cumplir con los requisitos reglamentarios para ser utilizados en la práctica.

Los artículos también adolecen de un sesgo de publicación hacia resultados positivos. Por ejemplo, imagine un grupo de investigación teórico que desarrolla cuidadosamente un modelo de aprendizaje automático para predecir el covid-19 a partir de una radiografía de tórax y descubre que no supera las pruebas estándar para la enfermedad. Este resultado no interesa a muchas revistas y es difícil de comunicar. Es mucho más fácil desarrollar un modelo con poco rigor que dé un gran rendimiento y publicarlo.

Si bien el aprendizaje automático es muy prometedor para encontrar soluciones a muchos problemas de salud, debe hacerse con tanto cuidado como cuando estamos desarrollando otras herramientas en el campo de la salud.

Si nos preocupamos tanto en el desarrollo de modelos de aprendizaje automático como en los ensayos clínicos, no hay razón por la que estos algoritmos no deban ser parte del uso clínico de rutina y todos ayudamos a avanzar hacia el ideal de vías de tratamiento más personalizadas. Pero no hay prisa.