La inteligencia artificial (IA) ha avanzado -y sigue avanzando- a pasos agigantados, proporcionando soluciones potentes en numerosos campos. Sin embargo, uno de los principales desafíos es la opacidad de los modelos de "caja negra", como las redes neuronales profundas, que dificultan entender cómo y por qué toman decisiones específicas. La IA explicable (XAI, por sus siglas en inglés) busca resolver esta limitación proporcionando técnicas y algoritmos que permitan interpretar y comprender el funcionamiento interno de estos modelos.

Una de las herramientas más prominentes en XAI es LIME (Local Interpretable Model-agnostic Explanations). LIME trabaja creando un modelo interpretable local alrededor de cada predicción. En otras palabras, aproxima la predicción de un modelo complejo con un modelo más simple y comprensible, pero solo en una pequeña vecindad de la instancia de entrada. Esto permite a los usuarios ver cuáles características de la entrada influyen más en la predicción, ayudando a desentrañar la lógica detrás de las decisiones del modelo.

Otro método significativo es SHAP (Shapley Additive explanations), basado en la teoría de juegos cooperativos. SHAP calcula el valor de Shapley, que distribuye las contribuciones de cada característica de manera justa en una predicción, considerando todas las posibles combinaciones de características. Este enfoque proporciona explicaciones consistentes y aditivas, lo que significa que la suma de las contribuciones de las características coincide con la predicción del modelo. SHAP es valorado por su precisión y consistencia, aunque puede ser computacionalmente costoso.

Las redes neuronales interpretables (INN) también están ganando tracción. Estas redes están diseñadas con arquitecturas que permiten una mayor transparencia. Por ejemplo, las redes neuronales convolucionales (CNN) se pueden ajustar para visualizar los mapas de activación que muestran cómo diferentes capas de la red responden a diversas características de la entrada. Las redes neuronales de atención destacan por mostrar cuáles partes de la entrada influyen más en las decisiones, utilizando mecanismos de atención que resaltan estas áreas.

Además, los métodos basados en gradientes como el Grad-CAM (Gradient-weighted Class Activation Mapping) se utilizan para generar mapas de activación ponderados por gradiente, que indican qué partes de una imagen influyen más en la predicción de una CNN. Esto proporciona una visualización intuitiva de la importancia de diferentes regiones de la entrada.

En el ámbito de la IA explicable también se emplean técnicas de simulación y simplificación de modelos. Los modelos complejos pueden ser reemplazados o acompañados por modelos más simples y comprensibles, como árboles de decisión o reglas lógicas, para proporcionar una visión general de cómo funciona el modelo subyacente. Estos métodos no solo facilitan la comprensión del modelo, sino que también ayudan en la validación y verificación, asegurando que los modelos se comporten de manera justa y ética.

En resumen, la IA explicable abarca una variedad de técnicas como LIME, SHAP, redes neuronales interpretables, métodos basados en gradientes y simplificación de modelos. Estas herramientas y métodos son cruciales para desentrañar la complejidad de los modelos de caja negra, permitiendo a los usuarios comprender y confiar en las decisiones tomadas por la inteligencia artificial.

Jordi G. Castillón