¿Qué es la inteligencia artificial explicable?

El machine learning es la tecnología central de las aplicaciones de inteligencia artificial. Se trata de un proceso en el que una computadora utiliza un algoritmo para adquirir conocimiento a partir de los datos y crear un modelo. A medida que la máquina (computadora) usa los datos y un algoritmo para su aprendizaje, el analista de datos posibilita la creación del modelo eligiendo una o varias técnicas de entrenamiento. 

Entrenamiento de tu modelo

Para crear un modelo de machine learning, necesitas tres elementos: 

1. Datos

Pueden ser números, texto, archivos de audio, clips de video o imágenes. La cantidad de datos que necesites dependerá de la complejidad del problema que intentes resolver, la calidad de los datos y la complejidad del algoritmo que elijas. 

Si escoges un algoritmo sencillo, como la regresión lineal (con el objetivo de encontrar una línea recta dentro de los datos en un diagrama de dispersión), es posible que solo necesites algunas decenas de datos. En cambio, si eliges un algoritmo complejo, como las redes neuronales, probablemente necesites millones o miles de millones de datos. 

2. Un algoritmo

El algoritmo es una receta o una fórmula que la computadora utiliza a medida que avanza en su aprendizaje. Los algoritmos deben estar bien definidos y tener un criterio claro para detener dicho proceso. El objetivo principal de los algoritmos de machine learning es encontrar patrones en los datos para que la máquina pueda tomar decisiones sin tener que estar programada explícitamente para realizar cada tarea.

Algunos algoritmos, como los árboles de decisión, están diseñados para generar un resultado sencillo y rastreable. Son similares a un diagrama de flujo: es sencillo comprenderlos y corregirlos en caso de ser necesario. 

Luego, ten en cuenta el algoritmo de bosque aleatorio. Implica entrenar cientos de árboles de decisión y, luego, pedir a cada uno de ellos que "vote", con lo que se obtiene un resultado final. Como nadie puede rastrear la lógica de cientos de diagramas de flujo, el algoritmo se vuelve casi imposible de entender.

3. Una técnica de entrenamiento

Se trata de una técnica que el analista de datos utiliza a la hora de diseñar, implementar y perfeccionar el proceso de aprendizaje (denominado "entrenamiento") de la computadora, el cual se vale de métodos como los siguientes:

• Aprendizaje supervisado: Se proporciona al modelo un conjunto de datos en el que todos los datos de entrada están etiquetados con la respuesta correcta. Su función es estudiar la relación entre los datos de entrada y su etiqueta correcta. El aprendizaje supervisado permite predecir lo que sucederá.
  • Por ejemplo, le das al modelo 100 000 fotos de caballos y osos y etiquetas cada foto correctamente con la etiqueta "caballo" u "oso". El modelo aprenderá los patrones y eventualmente podrá etiquetar una foto nueva de manera correcta.
• Aprendizaje no supervisado: Se proporciona al modelo un conjunto de datos sin ningún dato etiquetado. Su trabajo es encontrar patrones y asociaciones dentro de los datos por sí mismo. El aprendizaje no supervisado ayuda a descubrir patrones que ya existen en los datos.
  • Por ejemplo, le das al modelo datos sobre el comportamiento de los clientes con respecto a sus compras. Así, el modelo podrá descubrir que hay un 60 % de probabilidad de que las personas que compran comida para perros compren zapatos para caminar.
• Aprendizaje por refuerzo: Se asigna al modelo un objetivo y un conjunto de reglas, pero no datos etiquetados. El objetivo consiste en aprender interactuando y recibiendo "recompensas" o "penalizaciones" por sus acciones. Este tipo de aprendizaje ayuda a realizar sugerencias sobre las acciones que se deben tomar a continuación.
  • Por ejemplo, un modelo puede aprender a jugar al ajedrez jugando a millones de partidas. Recibirá "recompensas" por los movimientos que lo lleven a la victoria y "penalizaciones" por los movimientos que lo hagan perder. El proceso ayuda a que el modelo "aprenda" a jugar al ajedrez.

Una vez que la máquina toma los datos y aplica el algoritmo y la técnica de entrenamiento, surge un nuevo modelo. 

Aclaración sobre las redes neuronales

La red neuronal es otro tipo de algoritmo de machine learning. Está inspirado en el cerebro humano y pasa los datos a través de diferentes capas de nodos interconectados llamados "neuronas". A medida que los datos pasan a través de cada capa, se les asignan diferentes "pesos", los cuales determinan el modo en que los datos pasan a través de las siguientes capas una y otra vez hasta convertirse en un resultado final. 

Las redes neuronales suelen tener una capa de entrada y otra de salida, aunque a veces tienen capas ocultas que les quitan transparencia a los modelos. Esto se da especialmente cuando las capas ocultas son grandes o cuando un modelo tiene una gran cantidad de capas ocultas. Cuando una red neuronal tiene varias capas ocultas, puede clasificarse como una red neuronal profunda, y la metodología que se utiliza para entrenarla se conoce como "deep learning" (aprendizaje profundo). 

Pero ¿cómo se crea una capa oculta? 

Una capa oculta no implica que una máquina crea una mente propia. Las capas ocultas se generan cuando un analista de datos indica a una máquina que realice sus propias conexiones dentro de las capas prediseñadas. Entonces, su lógica final de aprendizaje se vuelve demasiado compleja para que las personas la comprendan.

La caja negra se refiere a un modelo de inteligencia artificial que es demasiado complejo de entender o que no muestra su trabajo. Esto implica que nadie puede explicar con exactitud cómo se generó un resultado en particular, ni siquiera los analistas de datos ni los ingenieros que crearon el algoritmo.

Por ejemplo, GPT4, una de las redes neuronales que impulsan ChatGPT, lleva a cabo más de tres billones de cálculos matemáticos para generar una sola palabra. Si quisieras revisar los cálculos a mano y pudieras hacer uno por segundo, te llevaría 95 años replicar todos los necesarios para generar una sola palabra. En casos como estos, puedes confirmar que el resultado es correcto, pero revisar el proceso de cálculo es prácticamente imposible. 

La falta de interpretación en los modelos de caja negra puede tener consecuencias negativas cuando se utilizan para la toma de decisiones que conllevan grandes riesgos, sobre todo en sectores como el militar, el aeroespacial, el legal, el de la salud, el del transporte, el de la seguridad, el de la justicia penal o el de las finanzas. 

Se puede considerar a la inteligencia artificial explicable como un modo de mirar dentro de las cajas negras. 

¿Todos los modelos de caja negra son perjudiciales?

El carácter misterioso de los sistemas de caja negra no es necesariamente perjudicial. No obstante, estos sistemas pueden generar importantes problemas cuando se utilizan en situaciones de alto riesgo. Los sistemas de inteligencia artificial de caja negra pueden generar:

Sesgo y discriminación. Cuando los sistemas de inteligencia artificial se entrenan con datos sesgados, es posible que los patrones se repitan. Imagina una herramienta de contratación entrenada con los datos correspondientes al historial de contrataciones "exitosas" de personal ejecutivo de una empresa en los últimos 20 años. Si la mayoría de los ejecutivos fueran hombres, el sistema podría aprender a descartar los currículos que incluyan nombres femeninos.

Falta de responsabilidad. Cuando los sistemas de caja negra cometen un error de juicio, no hay manera de rastrear el patrón lógico del sistema. Esto podría generar problemas legales a la hora de determinar quién (o qué) tiene la culpa si alguien resultara herido, por ejemplo, en caso de que un dispositivo médico o un vehículo autónomo con sistema de caja negra ocasionaran un diagnóstico erróneo o un accidente.

Cuando los desarrolladores no comprenden los procesos internos de un sistema de inteligencia artificial, es mucho más difícil corregirlo o mejorarlo. Cuando la lógica está oculta, cuesta más generar confianza en un sistema.

Caja negra y caja blanca

La caja blanca es lo opuesto a la caja negra. La caja blanca, también conocida como "caja de cristal", hace referencia a un modelo con procesos internos transparentes, por lo que las personas pueden rastrear todo el proceso de toma de decisiones, desde los datos de entrada hasta los resultados obtenidos. Volvamos al concepto de interpretación: una caja blanca es un modelo que se puede interpretar, mientras que una caja negra requiere la explicabilidad. 

¿Por qué crear un modelo de caja negra cuando ya existe el modelo de caja blanca? Simplemente por la potencia y el rendimiento. Los modelos de caja blanca son más sencillos de interpretar porque sus procesos internos son menos complicados. Por lo tanto, tienden a ser más pequeños y tener menos capacidad y potencia. 

Cuando un modelo de caja blanca no es lo suficientemente potente o preciso como para generar el resultado deseado, los analistas de datos pueden recurrir a una solución de caja negra, por ejemplo, cuando entrenan un modelo con un tema complejo lleno de matices, como la inteligencia artificial generativa. 

La inteligencia artificial explicable ayuda a los usuarios a comprender el proceso que siguen los sistemas de inteligencia artificial para generar resultados. Esto puede traducirse en las siguientes ventajas:

Mayor confianza. Para implementar tecnologías como la inteligencia artificial con agentes (agentic AI) con éxito, es necesario que haya confianza entre los algoritmos y las personas. El objetivo principal de la inteligencia artificial explicable es ayudar a los usuarios a confiar en los resultados de sus aplicaciones de inteligencia artificial. 

Menor riesgo. La inteligencia artificial explicable permite evaluar mejor los modelos y elegir el que mejor se adapte a tus necesidades con mayor certeza. 

Colaboración mejorada. Cuando tienes un modelo explicable, la dinámica del equipo interdisciplinario es mejor. Piensa en la relación entre los analistas de datos y los médicos clínicos durante la implementación de un modelo de machine learning en un hospital: el modelo predice que un paciente tiene un alto riesgo de septicemia, y la inteligencia artificial explicable muestra que los principales factores que llevan a generar esta predicción son una frecuencia cardíaca elevada, una baja presión arterial y una baja saturación de oxígeno. El médico clínico puede entender y validar esta información, y confirmar así que el modelo se basa en conocimientos médicos sólidos. 

Solución de problemas más rápida. Cuando los analistas de datos pueden entender la lógica de un modelo a medida que genera un resultado, las tareas de desarrollo, depuración y toma de decisiones se pueden llevar a cabo con mayor facilidad y rapidez como persona que participa del proceso. Es importante destacar que la inteligencia artificial explicable no acelera el funcionamiento de las computadoras (de hecho, genera más sobrecarga informática), pero sí ahorra tiempo a las personas. 

Mejor cumplimiento normativo. La inteligencia artificial explicable permite que las empresas cumplan las normativas y las leyes sobre privacidad. Entre ellas se incluye el Reglamento General de Protección de Datos (RGPD) de la Unión Europea, que otorga a las personas el derecho a conocer la lógica aplicada a la toma de decisiones automatizada, así como la "importancia y las consecuencias previstas de dicho procesamiento para la persona interesada". En este caso, la inteligencia artificial explicable permite comprender las decisiones detallando los datos y los factores que influenciaron un resultado específico. 

La Ley de Transparencia en Inteligencia Artificial Frontier (TFAIA) de California requiere que los desarrolladores publiquen informes de transparencia sobre los riesgos de su modelo y las medidas de eliminación de riesgos que aplican. La inteligencia artificial explicable permite que las empresas identifiquen esos riesgos con mayor facilidad. 

Menor deriva en el modelo. El modelo puede sufrir una deriva en su rendimiento (degradarse con el tiempo a medida que se incorporan nuevos datos). Entonces, la inteligencia artificial explicable te ayuda a analizar los modelos y a generar alertas para cuando estos sufren derivas y el resultado se aleja del previsto. 

El campo de la inteligencia artificial explicable está en constante crecimiento para adaptarse al acelerado ritmo con el que avanza la inteligencia artificial. La implementación de este tipo de tecnología es necesaria, pero las soluciones no son perfectas. Entre las limitaciones que se deben tener en cuenta, podemos mencionar:

Complejidad técnica de los resultados. Los métodos actuales de inteligencia artificial explicable son muy técnicos y están orientados a especialistas en machine learning, no a usuarios comunes. Para solucionar este problema, es necesario ofrecer más educación y capacitación técnica o desarrollar explicaciones sencillas sobre temas complejos. 

Alto costo informático. La ejecución de las técnicas de la inteligencia artificial explicable supone altos costos. Esto se debe a que los algoritmos de explicación deben realizar cálculos extensos para comprender los motivos por los que un modelo generó un resultado determinado. Esto podría implicar tener que ejecutar el modelo miles de veces solo para entender cómo se realizó una sola predicción. 

Riesgos de seguridad. Al abrir la caja negra para comprender un modelo, se corre el riesgo de exponer la forma de engañar al modelo. Esta acción puede crear puntos vulnerables que permitan a los agentes malintencionados manipular al sistema y realizar ingeniería inversa para encontrar una forma de violar la seguridad. 

Comprensión y confianza 

No es lo mismo comprender el modo en que funciona un proceso que confiar en él. Puedes entender la mecánica de una patineta, pero no confiar en ella lo suficiente como para animarte a usarla. 

El tema de la confianza plantea la siguiente pregunta: ¿podría ser perjudicial depositar demasiada confianza en la inteligencia artificial? El escepticismo es saludable, y depositar demasiada confianza en un sistema puede exponerte a posibles errores cuando menos lo esperes. Al mismo tiempo, si no tienes suficiente confianza en los sistemas, podrías desaprovechar sus beneficios. 

El objetivo de la inteligencia artificial explicable es ayudar a los usuarios a ajustar su nivel de confianza. Cuando proporciona contexto valioso, los usuarios pueden decidir por sí mismos el grado de confianza que depositan en el sistema.

Para implementar la inteligencia artificial explicable, es necesario comprometerse a brindar más transparencia en el ciclo de vida completo del machine learning, desde el diseño inicial hasta su supervisión. No hay una única forma de explicar los resultados de un algoritmo de machine learning o inteligencia artificial, sino que tu enfoque dependerá de cómo se diseñó el modelo y de quiénes son los usuarios finales. Estos son algunos de los factores que se deben considerar:

Modelos de inteligencia artificial explicable globales o locales: ¿qué nivel de explicación se necesita?

• Las explicaciones globales brindan una comprensión de alto nivel de los patrones generales que usa tu modelo para tomar decisiones. Por ejemplo, en un modelo que predice la aprobación de préstamos, una explicación global podría ser la siguiente: "El modelo prefiere aceptar a candidatos con una alta calificación crediticia".
• Las explicaciones locales detallan los factores que influyeron en una sola decisión del modelo. Por ejemplo, una explicación local de ese mismo modelo de aprobación de préstamos podría ser la siguiente: "A Juan Pérez se le denegó un préstamo el 19 de noviembre porque su calificación crediticia era de 520 y sus ingresos estaban por debajo del límite de USD 35 000".

Modelos de inteligencia artificial explicable directos o de análisis posterior: ¿cómo se diseñó tu modelo para proporcionar explicaciones?

• Los modelos directos producen resultados transparentes y rastreables desde el inicio, igual que los modelos de caja blanca.
• Los modelos de análisis posterior no se diseñaron originalmente para ser interpretables, dado que son modelos de caja negra. Sin embargo, puedes obtener información sobre su funcionamiento aplicando algoritmos una vez que finalicen su entrenamiento. Estos algoritmos ayudan a analizar el resultado y a generar una explicación:
  • LIME (Local Interpretable Model-agnostic Explanations) es una técnica que manipula los datos de entrada para crear una serie de datos artificiales ligeramente distintos. Ejecuta esos datos artificiales en el modelo y observa los resultados. De esta manera, crea modelos "sustitutos" interpretables para explicar la predicción original del modelo de caja negra.
  • SHAP (SHapley Additive exPlanations) es un método basado en la teoría de juegos cooperativos que calcula la contribución de cada variable de entrada y analiza todas las combinaciones de variables posibles. Proporciona una visión unificada del modo en que cada variable contribuye al resultado del modelo y de las variables que impulsan las predicciones.

Modelos de inteligencia artificial explicable de datos o de modelos: ¿qué tipo de explicación necesitas?

• Los modelos de datos proporcionan una explicación que se basa en el modo en que los datos de entrada influyen en la predicción.
• Los modelos de inteligencia artificial explicable de modelos brindan una explicación que se basa en los procesos internos del modelo.

Las prácticas de inteligencia artificial responsable, como las pautas éticas, la transparencia y la eliminación de sesgos, son fundamentales para desarrollar sistemas de inteligencia artificial en los que se pueda confiar y que beneficien a la sociedad. 

Red Hat® AI es una plataforma que agiliza la innovación de la inteligencia artificial y reduce el costo operativo del desarrollo y la distribución de estas soluciones en los entornos de nube híbrida. 

Red Hat AI utiliza la tecnología de open source para superar los desafíos de la inteligencia artificial en toda la empresa. Esto significa brindarles a nuestros clientes soporte y herramientas para implementar la explicabilidad, el control de la inteligencia artificial, la confianza, las medidas de seguridad para la inteligencia artificial, la detección de sesgos y deriva, y el control de versiones.

Para ofrecer estas funciones, Red Hat AI se integra a diversas herramientas que permiten a los usuarios supervisar y gestionar el ciclo de vida completo de los modelos de inteligencia artificial. Esta función se basa parcialmente en TrustyAI, un kit de herramientas open source de la tecnología de inteligencia artificial responsable al que contribuye Red Hat.