En este ateneo se analizó la explicabilidad en sistemas de apoyo a la decisión clínica (XAI en CDSS) basados en IA, mediante un caso real de detección de paros cardíacos y una revisión sistemática, que identifica retos clave y propone recomendaciones para su adopción efectiva.

En el primer artículo se revisan 63 estudios sobre explicabilidad en sistemas de apoyo a la decisión clínica, y luego se analiza un caso real de detección extrahospitalaria de paro cardíaco evaluado en talleres interdisciplinarios. Se contrastan enfoques “caja negra” frente a explicables, identificando barreras como la confidencialidad de datos, falta de métricas unificadas y limitada interacción humano–sistema. 

Finalmente, destaca la necesidad de escenarios de aplicación claros, formación en XAI y colaboración interdisciplinaria para su adopción efectiva.

 

¿Qué es un CDSS y por qué importa en salud? 

Un CDSS es una herramienta que fusiona información clínica del paciente con conocimientos médicos para sugerir diagnósticos, alertas o tratamientos. Hoy voy a iniciar haciendo referencia dos enfoques:

 

CDSS basados en conocimiento

Son reglas que se construyen sobre una base de conocimiento, se utilizan árboles de decisión, guías clínicas codificadas y ontologías biomédicas que representan el saber experto. Cada recomendación se deriva por inferencia lógica sobre esa base de conocimiento.

Ventajas principales:

• Transparencia y explicabilidad: su lógica es explícita y rastreable; el clínico puede seguir paso a paso cómo se llega a cada conclusión.
• Confiabilidad normativa: se pueden alinear estrictamente con guías y estándares clínicos validados.
• Menor necesidad de grandes volúmenes de datos: funcionan con conocimiento estructurado, útil en áreas con pocos ejemplos empíricos.

Desventajas principales:

• Mantenimiento intensivo: cada cambio en la guía o el protocolo exige actualizar manualmente reglas y ontologías.
• Cobertura limitada: difícil abarcar escenarios atípicos o enfermedades raras que no estén codificadas en la base de conocimiento.
• Rigidez: no aprenden de la experiencia clínica real a menos que su base de conocimiento se expanda explícitamente.
   

CDSS no basados en conocimiento

Son sistemas que aprenden de los datos clínicos, historias electrónicas, imágenes médicas, señales fisiológicas, registros de laboratorio, mediante técnicas estadísticas y de inteligencia artificial, como aprendizaje automático, aprendizaje profundo o minería de procesos. En lugar de aplicar reglas codificadas manualmente, generan su modelo interno a partir de correlaciones y estructuras encontradas en los datos.

Ventajas principales:

• Adaptabilidad y aprendizaje continuo: pueden mejorarse automáticamente al incorporar datos nuevos, capturando tendencias emergentes.
• Cobertura amplia: al formarse con datos reales, pueden reconocer presentaciones clínicas inusuales o complejas no previstas por reglas predefinidas.
• Potencial de alto rendimiento: en problemas con gran cantidad de variables (p.ej., imágenes médicas o secuencias temporales), suelen superar a los modelos basados en conocimiento.

Desventajas principales:

• Opacidad (“caja negra”): su lógica interna no siempre es interpretable; sin técnicas de explicabilidad en IA (XAI), resulta complicado entender por qué recomiendan una acción.
• Dependencia de calidad y cantidad de datos: necesitan grandes, diversos y bien etiquetados conjuntos de datos, los sesgos o faltantes pueden traducirse en predicciones erróneas.
• Validación y regulación más complejas: los organismos reguladores exigen demostraciones rigurosas de seguridad y eficacia, y explicar el modelo suele ser un requisito cada vez más demandado.

 

Rendimiento vs. explicabilidad

La bibliografía expresa que existe un reconocido dilema de compensación (trade-off): A mayor complejidad del modelo, ganamos precisión en los resultados, pero perdemos transparencia. En cambio, dentro de las inteligencias artificiales existen modelos más simples, como árboles de decisión, son fáciles de interpretar, pero a veces sacrifican exactitud. En salud, es complejo elegir entre la confianza y la exactitud. Una propuesta a esto es XAI

 

¿Qué es la XAI y para qué puede ser utilizada?

La XAI (inteligencia artificial explicable) es un conjunto de métodos y procesos diseñados para que los modelos de IA, sobre todo los más complejos, puedan justificar y transparentar sus decisiones. Estas técnicas van desde el desarrollo, con protocolos específicos,  hasta el usuario final, con mapas de calor apoyados con un razonamiento y contexto, gráficos con variables consideradas y su influencia en la decisión, o incluso referencias detalladas de casos similares utilizados en los entrenamientos que llevan hoy a esta respuesta; en fin, lo que se considere necesario para intentar comprender el razonamiento interno de estos modelos complejos y explicarlos, ayudando de esta manera, incluso, a posibles dilemas éticos y legales y aportando la posibilidad, también, de observar sesgos o errores para corregirlos.

En el ámbito de la informática en salud, los Clinical Decision Support Systems (CDSS) basados en Inteligencia Artificial (Artificial Intelligence, AI) han mostrado un considerable potencial para mejorar la precisión diagnóstica y agilizar la toma de decisiones clínicas. Sin embargo, gran parte de estos sistemas operan como “cajas negras” (black boxes), lo que genera desconfianza entre los profesionales de la salud al desconocer los criterios internos que guían las recomendaciones. Ante esta situación, los investigadores emprendieron una revisión exhaustiva para mapear cómo y en qué contextos se integra la XAI en CDSS, con el fin de identificar buenas prácticas, vacíos de conocimiento y retos por abordar.

 

Retos técnicos de la explicabilidad (XAI)

Si bien la explicabilidad se considera deseable, en el ámbito clínico no siempre es necesaria ni efectiva. Muchos profesionales priorizan la precisión y utilidad del sistema por sobre entender cómo llegar a sus resultados. 

Además, las explicaciones generadas por técnicas como LIME o SHAP son solo aproximaciones, y pueden no reflejar fielmente el funcionamiento real del modelo. Por otro lado, lo que se considera una “buena explicación” varía según el perfil del usuario, lo que dificulta su estandarización. Incluso los modelos considerados transparentes, como la regresión o los árboles, sólo lo son bajo ciertas condiciones de simplicidad.

 

Hallazgos principales

Uno de los hallazgos más importantes es que la falta de explicabilidad fue un factor decisivo en la baja adopción del sistema, a pesar de su buen desempeño técnico. 

La confianza no depende solo de la precisión estadística, sino de la posibilidad de comprender cómo el sistema llega a sus conclusiones. Sin embargo, los autores advierten que la explicabilidad no es una solución mágica, integrar requiere decisiones técnicas, capacitaciones específicas y rediseños en el flujo de trabajo.

Además, se destaca que en algunos contextos podría no ser necesaria una explicación detallada por cada predicción, siempre que haya un respaldo clínico suficiente y una capacitación adecuada. En cambio, en contextos de alto riesgo, como este caso, la capacidad de justificar cada recomendación puede ser clave para su adopción y uso ético.

 

Reflexiones de los investigadores

El trabajo concluye que la explicabilidad debe entenderse como una herramienta estratégica, no como un requisito universal. No todos los CDSS necesitan explicarse de la misma manera, ni ante los mismos usuarios. 

El valor de la XAI radica en su capacidad para adaptarse al contexto, al tipo de tarea, al nivel de riesgo, al flujo de trabajo y a las competencias del usuario. Por eso, los autores proponen un enfoque flexible, contextual y éticamente sensible, que combine validaciones clínicas rigurosas con mecanismos de retroalimentación, formación continua y adaptaciones a largo plazo.

Para ver la presentación completa, ingresá a este enlace.

 

Bibliografía

1. Amann J, Vetter D, Blomberg SN, Christensen HC, Coffee M, Gerke S, et al. To explain or not to explain?-Artificial intelligence explainability in clinical decision support systems. PLOS Digit Health [Internet]. 2022;1(2):e0000016. Disponible en: http://dx.doi.org/10.1371/journal.pdig.0000016
2. Aziz NA, Manzoor A, Mazhar Qureshi MD, Qureshi MA, Rashwan W. Unveiling explainable AI in healthcare: Current trends, challenges, and future directions [Internet]. medRxiv. 2024. p. 2024.08.10.24311735. Disponible en: http://medrxiv.org/content/early/2025/03/18/2024.08.10.24311735.abstract
3. Kim SY, Kim DH, Kim MJ, Ko HJ, Jeong OR. XAI-based clinical decision support systems: A systematic review. Appl Sci (Basel) [Internet]. 2024;14(15):6638. Available from: http://dx.doi.org/10.3390/app14156638