Inteligencia artificial para el diagnóstico del cáncer de piel: un estudio de validación de algoritmos

En este estudio de validación de algoritmos sobre datos retrospectivos, los autores reprodujeron y evaluaron el rendimiento de la inteligencia artificial de vanguardia (redes neuronales convolucionales) para el diagnóstico del cáncer de piel. Aunque la inteligencia artificial de vanguardia supera a los dermatólogos en la clasificación de lesiones cutáneas basada en imágenes dentro de un entorno artificial, se necesitan datos adicionales y avances tecnológicos antes de la implementación clínica.

Se espera que la incidencia de melanoma (MEL), el subtipo más mortal de cáncer de piel, se duplique antes de 2030. El diagnóstico preciso del cáncer de piel basado en un examen clínico y la dermatoscopia, una técnica no invasiva, es difícil y requiere varios años de experiencia. Los primeros intentos de reemplazar a los médicos competentes mediante la implementación de algoritmos de diagnóstico basados en criterios visuales predefinidos fueron prometedores, sin embargo, ninguno de los métodos fue apropiadamente específico, confiable y práctico para la implementación clínica. Esto cambió en 2017 cuando las redes neuronales convolucionales (CNN), un subtipo de inteligencia artificial (IA), realizaron diagnósticos de cáncer de piel a nivel dermatólogo.11 Varios estudios secuenciales han confirmado que las CNN superan a los médicos en el diagnóstico de cáncer de piel basado en imágenes dentro de un entorno artificial controlado y experimental.

Estos resultados han llevado a una cadena de historias sensacionales que afirman que la IA ha superado a los dermatólogos en el diagnóstico del cáncer de piel. Las posibles consecuencias de la implementación en el mundo real de los algoritmos de CNN no están claras, pero los hallazgos preliminares sugieren que serían poco confiables y sustancialmente menos precisos que los médicos en la evaluación clínica de las lesiones cutáneas.

A diferencia de los humanos, los algoritmos no pueden evaluar y tratar las lesiones cutáneas y el paciente acompañante desde una perspectiva holística. Además, se sabe que las CNN generalizan mal hacia las nuevas fuentes de datos y son sensibles a los sesgos, el sobreajuste y las correlaciones espurias introducidas a través de su conjunto de datos de entrenamiento.4, 21-28 Varios estudios recientes sugieren que las CNN pueden proporcionar un valor clínico significativo si se usan en cooperación con un médico calificado para tareas limitadas, como diferenciar entre nevos y MEL. Sin embargo, los medios de comunicación y varias compañías comerciales sugieren el uso de IA para diagnósticos autónomos automatizados de lesiones cutáneas dirigidos por pacientes o médicos. Este estudio tiene como objetivo medir y explicar la generalización y el rendimiento de un conjunto (grupo) de vanguardia de CNN para el diagnóstico y la clasificación automatizados independientes del cáncer de piel, de una manera simple y clínicamente significativa.

Materiales y Métodos

En este estudio de validación de algoritmos, reproducimos un conjunto de CNN, con rendimiento a nivel de dermatólogo en el diagnóstico de cáncer de piel, en lo sucesivo denominado conjunto de colaboración internacional de imágenes de piel (ISIC). Exploramos la generalización del conjunto ISIC hacia nuevos dispositivos de captura de imágenes (cámaras, dermoscopios, otros dispositivos) y su utilidad clínica en el diagnóstico de MEL y el triaje del cáncer de piel. El conjunto fue entrenado en imágenes dermatoscópicas anotadas del repositorio de imágenes de código abierto llamado archivo ISIC. Nuestro grupo desarrolló un nuevo conjunto de datos llamado AISC-2021, que utilizamos durante las simulaciones clínicas para probar la generalización del conjunto. Utilizamos el marco de ciencia de datos de código abierto mantenido continuamente PyTorch.29 El estudio recibió una exención ética del Comité de Ética Danés (jr. nr. H-20066667) y se llevó a cabo según los principios de la Declaración de Helsinki. Las autoridades danesas de datos de salud y la Agencia de Protección de Datos aprobaron el acceso, la anotación, la anonimización, el manejo y el almacenamiento de imágenes dermatoscópicas (jr. nr. 21/5103 y 18/53664).

Datos

Este estudio incluyó dos conjuntos de datos de imágenes de lesiones cutáneas, el conjunto de datos ISIC-2019 (ISIC challenge 2019) del archivo ISIC y nuestro conjunto de datos AISC-2021. Ambos conjuntos de datos consisten en imágenes dermatoscópicas anotadas con una de las siguientes ocho etiquetas diagnósticas: queratosis actínica/enfermedad de Bowen (QA), carcinoma de células basales (BCC), lesiones queratinocíticas benignas (BKL), dermatofibroma (DF), MEL, nevo melanocítico (NV), carcinoma de células escamosas (SCC) y lesión vascular (VASC).

Conjunto de datos ISIC-2019

El conjunto de datos ISIC-2019 consiste en un conjunto de datos de capacitación (ISIC-2019-train) y prueba (ISIC-2019-test). ISIC-2019-train se puede descargar del sitio web del desafío ISIC 2019 (https://challenge2019.isic-archive.com). ISIC-2019-test está disponible a través de una tabla de clasificación en línea (https://challenge.isic-archive.com/leaderboards/live), donde cualquiera puede publicar y probar sus algoritmos. El conjunto de datos de la CIIU-2019 se ha descrito detalladamente en otra parte.30, 31 Para simplificar, se excluyeron las imágenes ISIC-2019 con un diagnóstico desconocido (clase desconocida).

Conjunto de datos AISC-2021

El conjunto de datos AISC-2021 consta de 27.638 imágenes dermatoscópicas anotadas de 15.552 lesiones cutáneas pigmentadas de 7122 pacientes. Las imágenes fueron capturadas por enfermeras y médicos del Departamento de Dermatología y Centro de Alergias del Hospital Universitario de Odense, Dinamarca, del 1 de septiembre de 2010 al 8 de mayo de 2021. Todas las imágenes dermatoscópicas fueron fotografiadas utilizando dermoscopios digitales (Medicam 800 y 1000, Fotofinder Systems GmbH). Los diagnósticos clínicos (n = 9073) e histopatológicos (n = 6479) se fusionaron manualmente con las imágenes dermatoscópicas, y se agregó el grosor de Breslow para las MEL.

Los diagnósticos clínicos consistieron en un juicio conjunto de dos a tres médicos, de los cuales al menos uno era un dermatólogo certificado por la junta. No hubo datos disponibles sobre el origen étnico de los pacientes, el tipo de piel de Fitzpatrick, la calidad de la imagen, el tipo de dermatoscopia (polarizada/no polarizada) o la presencia de cabello y tatuajes. La mayoría de las imágenes dermatoscópicas fueron polarizadas y fotografiadas después de la hidratación con etanol de la piel. Las reglas dermatoscópicas no estaban presentes en las imágenes dermatoscópicas, y se podían encontrar úlceras o cicatrices en una minoría de las imágenes. Todas las lesiones cutáneas en el conjunto de datos AISC-2021 se registraron antes de la escisión o como parte de un programa de seguimiento con dermatoscopia secuencial para descartar neoplasias malignas.

Creamos un entrenamiento y dos conjuntos de datos de prueba a partir de los datos AISC-2021; AISC-2021-train, AISC-2021-test y AISC-2021-MEL (melanoma). El conjunto de datos de prueba AISC-2021 se construyó con la misma distribución de diagnósticos que el conjunto de datos de prueba ISIC-2019, asegurando que pudiéramos probar la generalización de los algoritmos en lugar de sobreajustar el sesgo. Para evitar la fuga de datos entre los conjuntos de datos de entrenamiento y prueba, dividimos los datos a nivel de lesión y realizamos un análisis posterior a la división de si las imágenes estaban presentes en ambos conjuntos de datos.

Capacitación y evaluación comparativa del conjunto CIIU

El conjunto ISIC consistió en un grupo de CNN entrenados utilizando un método previamente descrito desarrollado por el equipo ganador (Gessert et al.) en el desafío ISIC en 2019.4, 30 El desafío ISIC 2019 fue un concurso internacional de algoritmos para el diagnóstico de lesiones cutáneas que atrajo a laboratorios científicos y comerciales de aprendizaje automático de todo el mundo. Notamos el sobreajuste desde el principio, lo que nos llevó a entrenar las CNN del conjunto para 60 en lugar de las 100 épocas descritas originalmente por Gessert et al. El término "época" describe el número de veces que los algoritmos se entrenan en todo el conjunto de datos de entrenamiento. Además, Gessert et al. complementaron los datos de entrenamiento con datos adicionales, a los que no tuvimos acceso. Cuando el conjunto ISIC terminó de entrenar, comparamos su interpretación con el conjunto original de Gessert et al. para confirmar una reproducción exitosa.

Generalizabilidad del conjunto CIIU

La generalización del conjunto ISIC se probó mediante una comparación de su rendimiento en dos conjuntos de datos de prueba, uno con imágenes de las mismas fuentes que los datos de entrenamiento (prueba ISIC-2019) y otro con imágenes de una nueva fuente de datos (AISC-2021-test). Para validar si las diferencias potenciales se debieron a una generalización deficiente, entrenamos un conjunto idéntico de CNN en un conjunto de datos de entrenamiento mixto que incluía imágenes de ambas fuentes de datos (ISIC-2019-train y AISC-2021-train) y probamos su rendimiento (ISIC & AISC ensemble) en ambos conjuntos de datos de prueba (ISIC-2019-test y AISC-2021-test), ver Figura 1.

Figura 2.

Simulaciones clínicas

Probamos el rendimiento del conjunto ISIC a través de diferentes interpretaciones de su resultado de probabilidad en dos simulaciones clínicas: diagnóstico MEL y triaje del cáncer de piel (Figura 2).

Diagnóstico MEL en las simulaciones clínicas

El resultado del conjunto ISIC consistió en estimaciones de probabilidad para cada clase de diagnóstico, por ejemplo, 80% MEL, 15% NV y 4% DF. Diagnosticamos cada lesión cutánea durante la primera simulación basada en la clase diagnóstica que logró la estimación de probabilidad más alta, ver Figura 3a. Todas las MELs (invasivas e in situ) del conjunto de datos AISC-2021 (AISC-2021-MEL) se diagnosticaron en esta simulación. Se examinó la correlación entre la probabilidad de MEL y el espesor de Breslow para probar si la precisión del conjunto ISIC era superior para los MEL gruesos en comparación con los delgados.

Triaje del cáncer de piel en las simulaciones clínicas

Determinamos qué umbrales de probabilidad para BCC, MEL y SCC, que produjeron una sensibilidad del 99,1% en el conjunto de datos de prueba ISIC-2019, ver Figura 3b, c. Se consideró aceptable una sensibilidad del 99,1%, ya que corresponde a la sensibilidad del manejo clínico de un dermatólogo experto.32 Las lesiones se consideraron sospechosas si las estimaciones de probabilidad para MEL, BCC o SCC excedieron sus umbrales predefinidos. Utilizamos todo el conjunto de datos AISC-2021 para evaluar la sensibilidad y especificidad de la interpretación del triaje.

Estadística

Todos los análisis estadísticos se realizaron en SAS Studio 3.8 (SAS Institute) y Excel 2016 (Microsoft). Las áreas bajo las curvas características operativas del receptor (AUC ROC) se compararon mediante la prueba de Hanley-McNeil,33 y la correlación entre el espesor de Breslow y la probabilidad de MEL se evaluó mediante la prueba de correlación de Pearson. p Los valores inferiores a 0,05 fueron considerados significativos (Tabla 1).

Resultados

Benchmarking y generalizabilidad.
El rendimiento de nuestro conjunto (conjunto ISIC) en la prueba ISIC-2019 fue comparable (Δ ROC AUC = 0.004, p = 0.059) al conjunto original de Gessert et al.30 Las AUC ROC del conjunto para NV, MEL y AK fueron significativamente más bajas en la prueba AISC-2021 en comparación con el conjunto de datos de prueba ISIC-2019, ver Figura 4 y Tabla 2. El conjunto combinado ISIC y AISC tuvo un rendimiento notablemente mejor que el conjunto ISIC en ambos conjuntos de datos de prueba (prueba ISIC-2019 y prueba AISC-2021). De hecho, el conjunto ISIC y AISC mostró signos de sobreajuste AISC-2021, con una mejora desproporcionadamente grande en la prueba AISC-2021 en comparación con la prueba ISIC-2019, ver Tabla 2.

Figura 5.

Diagnóstico MEL

El conjunto ISIC tuvo una sensibilidad MEL del 68,9% y, por lo tanto, diagnosticó erróneamente el 31,1% de los MEL (in situ e invasivos). No hubo correlación significativa entre el espesor de Breslow de los MELs y la probabilidad de MEL proporcionada por el conjunto (r = 0,06, p = 0,12), ver Figura 5.

Triaje del cáncer de piel

Con umbrales de probabilidad predefinidos de 3,6%, 3,6% y 0,6% para MEL, BCC y SCC, el conjunto clasificó 1138 (7,3%) de las lesiones AISC-2021 como no sospechosas y las 14.413 restantes (92,7%) lesiones como sospechosas de malignidad. Cinco (0,4%) de las lesiones descartadas eran malignas, y 1687 (11,7%) de las lesiones sospechosas eran MEL, BCC o SCC. Los cinco tumores malignos descartados incorrectamente fueron cuatro CCB y un CCE. La simulación de triaje arrojó una sensibilidad y especificidad de 99,7% y 8,2%, respectivamente.

Discusión

Este estudio evaluó y visualizó dos trampas críticas con respecto a los conjuntos de CNN para el diagnóstico del cáncer de piel, a saber, la generalización y la compensación sensibilidad-especificidad. Encontramos que un conjunto de CNN de vanguardia con rendimiento a nivel dermatólogo dentro de un entorno experimental altamente controlado se generalizó mal hacia imágenes de nevos, MELs y queratosis actínicas que se habían capturado utilizando diferentes dispositivos de captura de imágenes (cámaras y dermoscopios) que el conjunto de datos de entrenamiento. El conjunto clasificó erróneamente el 31,1% de todos los MELs durante la simulación diagnóstica, independientemente de su grosor Breslow. Además, el conjunto clasificó menos de una décima parte (7,3%) de las 15.552 lesiones AISC-2021 como no sospechosas durante la simulación de triaje. En otras palabras, los algoritmos serían inútiles para el diagnóstico automatizado independiente y el triaje en manos de operadores no capacitados, ya que esto daría como resultado un gran número de MEL (diagnósticos) descartados o lesiones cutáneas benignas referidas (triaje).

La generalización del conjunto ISIC hacia los datos AISC-2021 fue pobre, a pesar de haber sido entrenado en un conjunto de datos de entrenamiento deliberadamente heterogéneo (ISIC-2019-train) con imágenes preprocesadas manualmente de múltiples clínicas y departamentos de cáncer de piel.30, 31 El rendimiento de los algoritmos en ambos conjuntos de datos de prueba mejoró significativamente cuando los datos de AISC-2021 se incluyeron en el conjunto de datos de entrenamiento, aunque los algoritmos se sobreajustaron al conjunto de datos AISC-2021. Nuestros resultados fueron confirmados en una publicación reciente de Combalia et al. que examinó la generalización de los tres algoritmos principales del desafío ISIC 2019. La precisión diagnóstica de los algoritmos se redujo en más del 20% cuando se les pidió que diagnosticaran lesiones cutáneas de nuevas fuentes. Estos resultados son significativos, ya que los errores sistemáticos causados por la incapacidad de los algoritmos para generalizar podrían resultar en resultados fatales para los pacientes si los médicos y las enfermeras dependen totalmente de las predicciones del algoritmo. El trabajo relacionado de cardiología ha demostrado que los médicos olvidan rápidamente cómo interpretar los electrocardiogramas cuando se implementan interpretaciones automatizadas.

Del mismo modo, Tschandl y sus colegas demostraron recientemente que los médicos sin experiencia confían ciegamente en los algoritmos de diagnóstico para el diagnóstico del cáncer de piel. Probamos la generalización de los algoritmos utilizando dos conjuntos de datos de prueba que eran casi idénticos, excepto por los dispositivos utilizados para capturar las imágenes dermatoscópicas. En un entorno clínico natural, diferencias de color sutiles similares podrían ser causadas fácilmente por diodos dermatoscópicos vacilantes, nuevos dermoscopios, nuevos dispositivos de cámara o actualizaciones de software de cámara.

La generalización de los algoritmos de CNN se puede mejorar aumentando el tamaño y la heterogenicidad de los conjuntos de datos de entrenamiento, abarcando así todos los datos demográficos de los pacientes, diagnósticos y modalidades de captura de imágenes que se encuentran dentro del entorno clínico previsto.25 La comunidad ISIC se esfuerza por proporcionar un conjunto de datos heterogéneo a través del repositorio de imágenes de archivo ISIC de código abierto en continuo crecimiento. Sin embargo, no hay garantía de que el archivo de la CIIU o conjuntos de datos similares sean lo suficientemente grandes o heterogéneos como para apoyar el desarrollo de algoritmos de diagnóstico genuinamente confiables para el ecosistema clínico en rápida evolución. Por esta razón, sugerimos que los algoritmos de diagnóstico se validen prospectivamente para el entorno previsto antes de la implementación clínica y continuamente después de eso a intervalos predeterminados para garantizar una rápida identificación y mitigación de los cambios entre los datos de entrada y el conjunto de datos de entrenamiento de los algoritmos.

Alternativamente, el método y los dispositivos utilizados para capturar imágenes clínicas deben estandarizarse, asegurando una alineación perfecta entre los datos de entrada y los datos de entrenamiento de los algoritmos.36 Los márgenes de seguridad serían microscópicos para los enfoques que se basan en la estandarización, ya que la precisión de los algoritmos sobreajustados disminuiría notablemente cuando se introduzcan problemas técnicos menores o errores humanos.

Los algoritmos de CNN realizan diagnósticos de cáncer de piel más precisos que los dermatólogos dentro de un entorno de prueba artificial y altamente controlado.Sin embargo, en la vida real, los médicos recopilan datos de diagnóstico adicionales, consultan con colegas, actúan con cautela en caso de duda y hacen un seguimiento de las lesiones cutáneas sospechosas. En este estudio, los algoritmos "superiores" clasificaron erróneamente 347 (31,1%) de los 1115 MEL, todos diagnosticados y tratados por los médicos del Departamento de Dermatología y Centro de Alergias del Hospital Universitario de Odense.

Para este estudio, elegimos intencionalmente un umbral de triaje muy seguro (sensibilidad: >99,1%), correspondiente al de un dermatólogo experto con todas las opciones estándar de tratamiento y seguimiento a su disposición. Las simulaciones representaban un escenario clínico en el que el operador del algoritmo tenía poca o ninguna experiencia en el diagnóstico del cáncer de piel, por ejemplo, un entorno de atención primaria. No había mecanismos de seguridad externos, como la supervisión de un experto en el dominio, dentro del entorno clínico simulado y, por lo tanto, priorizamos la seguridad en lugar de la efectividad. Según lo planeado, los algoritmos proporcionaron un triaje seguro (sensibilidad del 99,7%) pero ineficaz (8,2% de especificidad) del cáncer de piel. La especificidad fue inaceptablemente baja para el contexto clínico no especializado previsto. Si se implementan, es probable que los algoritmos impulsen un mayor número de derivaciones dermatológicas benignas innecesarias, lo que sobrecargaría aún más una especialidad ya tensa.

Cuando las soluciones tecnológicas como la teledermatología reducen el esfuerzo relacionado con las segundas opiniones dermatológicas para las lesiones cutáneas, los proveedores de atención primaria solicitan significativamente más consultas dermatológicas.38 La utilidad clínica de un resultado binario "sospechoso" o "no sospechoso" es cuestionable, ya que los diversos subtipos de afecciones de la piel requieren diferentes estrategias de manejo, tratamiento y comunicación con el paciente.39-41 Finalmente, hay poco valor educativo en un algoritmo de triaje que marca el 92,7% de todas las lesiones cutáneas como "sospechosas".

Muchas MELs (in situ e invasivas) son lesiones melanocíticas malignas benignas o de bajo grado potencialmente sobrediagnosticadas, y este también puede ser el caso de algunos de los MEL AISC-2021. Sin embargo, el grosor de Breslow es un buen marcador pronóstico para la mortalidad y recurrencia de MEL, y por lo tanto, lo consideramos un proxy inverso para el sobrediagnóstico.No hubo correlación entre el grosor Breslow de los MEL y las estimaciones de probabilidad del conjunto ISIC para MEL, lo que sugiere que los MEL se clasificaron erróneamente independientemente de si fueron potencialmente sobrediagnosticados o no.

Este estudio tuvo varias limitaciones. Primero, intentamos simular la implementación clínica de algoritmos automatizados para el diagnóstico de MEL y el triaje del cáncer de piel en un entorno de atención primaria. Sin embargo, nuestro conjunto de datos de simulación (AISC-2021) provino de un departamento especializado para el diagnóstico de cáncer de piel donde todas las lesiones registradas eran lo suficientemente interesantes o sospechosas como para justificar un registro de imagen. El conjunto de datos AISC-2021 está muy sesgado hacia lesiones malignas y atípicas, similar al conjunto de datos ISIC-2019. Se teoriza que el conjunto CIIU funcionaría significativamente peor en un entorno de atención primaria donde la mayoría de las lesiones son benignas. En segundo lugar, se desconoce la dificultad promedio del conjunto de datos AISC-2021, ya que no hubo evaluadores humanos en este estudio. El conjunto de datos AISC-2021 incluyó diagnósticos más benignos que el ISIC-2019, lo que puede indicar que fue más fácil que el conjunto de datos ISIC-2019. En tercer lugar, este estudio investigó diagnósticos automatizados independientes de CNN en manos de médicos sin experiencia. Sin embargo, las CNN para la asistencia clínica entre médicos calificados y el aumento de la capacitación de los médicos junior parecen tener un potencial clínico mucho mayor.

En resumen, este estudio examinó la generalización y el rendimiento clínico de un conjunto CNN de vanguardia descrito anteriormente para el diagnóstico del cáncer de piel. Los algoritmos se generalizaron mal hacia nuevos formatos de imagen y realizaron diagnósticos MEL y triaje del cáncer de piel significativamente peores que los médicos.

Autores: Niels K. Ternov | Anders N. Christensen | Peter J. T. Kampen | Gustav Als | Tine Vestergaard | Lars Konge | Martin Tolsgaard | Lisbet R. Hölmich | Pascale Guitera | Annette H. Chakera | Morten R. Hannemose.

Nota.
"En octubre celebramos el primer aniversario de la revista de acceso abierto de la Academia y nos sentimos honrados por el creciente número de presentaciones interesantes que recibimos. Agradecemos a nuestros colaboradores por su confianza en la elección del JEACP como hogar para sus publicaciones, así como a nuestros revisores y al Equipo Editorial por su continuo apoyo para garantizar un proceso de revisión por pares exhaustivo y rápido." (EADV, Academia Europea de Dermatología y Venereología)

En este número, encontrarás artículos originales sobre psoriasis, dermatitis atópica, inteligencia artificial y otros temas candentes. Espero que disfrute explorando este tema y buceando en informes de casos interesantes y casos de cuestionarios; particularmente la serie de casos relacionados con las características de ultrasonido ecográfico del brazo COVID.