O que é a IA explicável (XAI)?

A IA explicável é um conjunto de técnicas aplicadas durante o ciclo de vida do machine learning (ML), com o objetivo de gerar respostas de IA mais transparentes e fáceis de entender. Idealmente, a XAI deve responder perguntas como:

• Por que o modelo fez isso?
• Por que não fez outra coisa?
• Quando o modelo funcionou?
• Quando o modelo falhou?
• Em que momentos posso confiar nas respostas do modelo?
• Como corrigir um erro?

A IA explicável deve demonstrar habilidades e conhecimentos, explicar ações passadas, processos em andamento e próximos passos, além de referenciar as informações relevantes que fundamentam suas decisões. Ou seja, a IA explicável incentiva os sistemas de IA a “mostrar o que fizeram”.

Conheça o Red Hat AI

Os negócios contam cada vez mais com os sistemas de IA na hora de tomar decisões. Por exemplo, no setor de saúde, a IA pode ser usada para analisar imagens e realizar diagnósticos. Nos serviços financeiros, para aprovar empréstimos e automatizar investimentos.

Essas decisões afetam pessoas, ambientes e sistemas, podendo colocá-los em risco. Transparência e responsabilidade são essenciais para que as pessoas confiem nos sistemas de IA. A falta de clareza pode levar a confusões, erros e até mesmo consequências jurídicas.

Ao priorizar a transparência e a explicabilidade, você desenvolve uma IA que não é apenas tecnicamente avançada, mas também segura e alinhada com os valores e as necessidades humanas. 

Explicabilidade e interpretabilidade

No contexto da XAI, os termos "explicabilidade" e "interpretabilidade" costumam ser usados como sinônimos, e isso pode gerar confusão. 

Interpretabilidade é o nível de compreensão que uma pessoa consegue ter sobre a lógica interna de um modelo. Ela tem a ver com o estado do modelo e pode se manifestar em diferentes graus. Um modelo com alta interpretabilidade possui características intrinsecamente compreensíveis, ou seja, permite que uma pessoa sem conhecimento técnico entenda a relação entre entradas e saídas. Um modelo com baixa interpretabilidade possui mecanismos internos complexos demais para a compreensão de uma pessoa leiga.

Explicabilidade descreve o processo de geração de justificativas ou explicações. Para alcançá-la, um conjunto de técnicas de XAI é aplicado a um modelo complexo para descrever como e por que ele tomou uma decisão. Quando a lógica de um modelo é complexa demais para ser interpretada, as técnicas de XAI ajudam você a entender melhor por que ele se comportou daquela forma. 

Em geral, quando a alta interpretabilidade oferece transparência suficiente, a explicabilidade externa não é necessária. A baixa interpretabilidade, associada à falta de transparência estrutural do modelo, torna necessária a adoção de mecanismos externos de explicabilidade para sua compreensão e validação.

O machine learning é a tecnologia fundamental das aplicações de IA. Trata-se de um processo em que um computador usa um algoritmo para aprender com dados e criar um modelo. Enquanto a máquina (o computador) usa dados e um algoritmo para aprender, o cientista de dados escolhe uma ou várias técnicas de treinamento para criar um modelo. 

Como treinar seu modelo

Para criar um modelo de machine learning, você precisa de três coisas: 

1. Dados

Eles podem ser números, textos, arquivos de áudio, trechos de vídeo e imagens. A quantidade de dados necessária depende da complexidade do problema que você quer resolver, da qualidade das informações e da complexidade do algoritmo escolhido. 

Se você optar por um algoritmo simples, como a regressão linear (com o objetivo de encontrar uma linha reta em um gráfico de dispersão), pode ser que apenas algumas dezenas de pontos de dados sejam suficientes. Para um algoritmo complexo, como redes neurais, talvez precise de milhões ou bilhões de dados. 

2. Um algoritmo

O algoritmo é uma receita ou fórmula que o computador usa para aprender. Ele deve ser bem definido e ter um critério de parada claro. O principal objetivo de um algoritmo de ML é encontrar padrões nos dados para que a máquina possa tomar decisões sem uma programação específica para cada tarefa.

Alguns algoritmos, como as árvores de decisões, são desenvolvidos para gerar saídas rastreáveis e diretas. Pense nas árvores de decisão como um fluxograma: fáceis de entender e corrigir, se necessário. 

Agora, considere um algoritmo random forest. Nele, centenas de árvores de decisão são treinadas e, em seguida, cada uma delas “vota”, gerando uma saída final. Como não é possível rastrear a lógica de centenas de fluxogramas, o algoritmo é praticamente incompreensível.

3. Uma técnica de treinamento

Ela se refere a abordagem que o cientista de dados utiliza para desenvolver, implementar e ajustar o processo de aprendizagem do computador. Esse processo de aprendizagem, chamado de treinamento, utiliza métodos como:

• Aprendizagem supervisionada: você fornece ao modelo um conjunto de dados nos quais todas as entradas são rotuladas com a resposta correta. A função dele é analisar a relação entre os dados de entrada e o rótulo correto. A aprendizagem supervisionada ajuda a prever o que acontecerá.
  • Por exemplo, você alimenta um modelo com 100 mil fotos de cavalos e ursos, rotulando cada uma delas corretamente como “cavalo” ou “urso”. O modelo aprenderá os padrões e, no fim, rotulará novas fotos corretamente.
• Aprendizagem não supervisionada: você fornece ao modelo um conjunto de dados sem nenhuma rotulação. Ele terá que encontrar padrões e associações nos dados por conta própria. A aprendizagem não supervisionada pode auxiliar na descoberta de padrões existentes.
  • Por exemplo, você alimenta um modelo com dados sobre comportamentos de consumo. O modelo pode descobrir que os consumidores que compram ração de cachorro têm 60% de chance de comprar tênis para caminhada.
• Aprendizagem por reforço: você atribui ao modelo uma meta e um conjunto de regras, sem oferecer dados rotulados. A função dele é aprender interagindo e sendo “recompensado” ou “penalizado” por essas ações. A aprendizagem por reforço ajuda a sugerir as ações que devem ser executadas a seguir.
  • Por exemplo, um modelo pode aprender xadrez jogando milhões de partidas. Ele é “recompensado” pelas jogadas que levam à vitória e “penalizado” pelas jogadas que levam à derrota. O processo ajuda o modelo a “aprender” a jogar xadrez.

Quando a máquina aplica um algoritmo e uma técnica de treinamento aos dados, nasce um modelo. 

Observações sobre redes neurais

As rede neural é um outro tipo de algoritmo de machine learning. Inspirada no cérebro humano, ela passa os dados por diferentes camadas de nós interconectados chamados neurônios. Nesse processo, são atribuídos diferentes “pesos” às informações, determinando como os dados atravessarão a próxima camada (e as seguintes) antes de se tornarem uma resposta final. 

As redes neurais costumam ter uma camada de entrada e uma camada de saída. Às vezes, elas apresentam camadas ocultas, que podem tornar os modelos menos transparentes. Isso ocorre principalmente quando as camadas ocultas de um modelo são grandes ou numerosas. Quando uma rede neural tem muitas camadas ocultas, ela pode ser classificada como rede neural profunda, e a metodologia usada para o treinamento dela é chamada de deep learning. 

Como surge uma camada oculta? 

As máquinas não criam camadas ocultas do nada. Elas surgem quando o cientista de dados programa uma máquina para fazer suas próprias conexões em camadas predeterminadas. É quando a lógica final aprendida pelo sistema fica complexa demais para ser compreendida por humanos.

Uma caixa preta é um modelo de IA complexo demais para ser entendido e/ou que não revela o que fez. Isso cria um cenário em que ninguém, incluindo os cientistas e engenheiros de dados que criaram o algoritmo, consegue explicar como o modelo chegou a um resultado específico.

Por exemplo, o GPT4, uma das redes neurais que capacita o ChatGPT, realiza mais de 3 trilhões de cálculos matemáticos para gerar uma única palavra. Se quiséssemos conferir manualmente esses cálculos e conseguíssemos realizar um por segundo, levaria 95 anos para replicar o processo necessário para gerar uma palavra. Em casos como esse, é possível confirmar que a saída está correta, mas verificar como o resultado foi obtido é praticamente impossível. 

A falta de interpretabilidade em modelos de caixa-preta pode causar consequências graves quando eles são aplicados em decisões de alto impacto, especialmente em setores de risco elevado, como saúde, transporte, segurança, defesa, legal, aeroespacial, justiça criminal e financeiro. 

Pense na IA explicável como um método para olhar dentro das caixas pretas. 

Todos os modelos de caixa preta são perigosos?

A natureza misteriosa dos sistemas de caixa preta não é necessariamente nociva. Mas esses sistemas podem representar riscos significativos quando utilizados em situações críticas. Os sistemas de IA de caixa preta podem levar a:

Vieses e discriminação. Quando os sistemas de IA são treinados com dados intrinsecamente enviesados, é provável que os padrões se repitam. Pense em uma ferramenta de recrutamento treinada com as contratações executivas “bem-sucedidas” dos últimos 20 anos em uma empresa. Se essa seleção de executivos for majoritariamente masculina, o sistema poderá penalizar currículos que incluam nomes femininos.

Falta de responsabilização. Quando sistemas de caixa preta tomam decisões erradas, não há como rastrear o padrão de lógica utilizado. Isso pode gerar desafios legais na hora de definir quem ou o que deve ser responsabilizado caso alguém seja prejudicado, como no caso de um dispositivo médico ou veículo autônomo que utilize um sistema de caixa-preta e cometa um erro de diagnóstico ou cause um acidente.

Quando os desenvolvedores não são capazes de entender o funcionamento interno de um sistema de IA, é muito mais difícil realizar correções ou melhorias. Quando a lógica não é transparente, fica mais difícil confiar em um sistema.

Caixa preta e caixa branca

A caixa branca é o oposto da caixa preta. Também chamada de caixa de vidro, a caixa branca é um modelo com funcionamento interno transparente. Isso significa que uma pessoa pode rastrear todo o processo de tomada de decisões da entrada à saída. Se pensarmos no conceito de interpretabilidade, uma caixa branca é um modelo interpretável, enquanto a caixa preta precisa de explicabilidade. 

Por que criar um modelo de caixa preta se existem os modelos de caixa branca? Tudo se resume a potência e desempenho. Modelos de caixa branca são mais fáceis de interpretar porque seu funcionamento interno é menos complicado. Como resultado, eles costumam ser menores e com menor capacidade de processamento e potência. 

Quando um modelo de caixa-branca não é robusto ou preciso o suficiente para gerar o resultado desejado, os cientistas de dados podem recorrer a uma solução de caixa-preta, especialmente ao lidar com temas complexos, sutis e cheios de nuances, como no caso da IA generativa. 

A IA explicável ajuda os usuários a entender como os sistemas de IA chegam às respostas. Isso pode gerar os seguintes benefícios:

Mais confiança. Para implementar tecnologias como a Agentic AI com sucesso, é preciso confiar no algoritmo. O principal objetivo da IA explicável é ajudar os usuários a confiar nos resultados das aplicações de IA. 

Menos risco. A IA explicável permite avaliar melhor os modelos, para que você tome decisões mais embasadas sobre a opção que melhor atende às suas necessidades. 

Melhor colaboração. Um modelo explicável melhora a dinâmica em equipes multifuncionais. Pense na relação entre cientistas de dados e médicos durante a implantação de um modelo de machine learning em um hospital: o modelo prevê que um paciente tem alto risco de sepse e a XAI mostra que os principais fatores para essa previsão são frequência cardíaca alta, pressão baixa e saturação de oxigênio baixa. O médico consegue entender e validar essas informações, confirmando que o modelo segue recomendações médicas confiáveis. 

Solução rápida de problemas. Quando os cientistas de dados entendem a lógica de uma saída do modelo, fica mais fácil e rápido desenvolver, depurar e tomar decisões, exercendo a supervisão humana do processo. É importante observar que a XAI não faz os computadores trabalharem mais rápido. Na verdade, ela aumenta a despesa operacional com processamento, mas economiza o tempo das pessoas. 

Melhor conformidade regulatória. A IA explicável ajuda as empresas a cumprir com as regulamentações e as leis de privacidade. Isso inclui o Regulamento Geral sobre a Proteção de Dados (GDPR) da União Europeia, que garante o direito de conhecer a lógica por trás de decisões automatizadas, assim como “a relevância e as consequências [esperadas] desse processamento para o titular dos dados”. Nesse caso, a XAI ajuda a explicar as decisões, detalhando quais dados e fatores influenciaram uma saída específica. 

A Lei de Transparência na Fronteira da Inteligência Artificial da Califórnia (TFAIA) exige que os desenvolvedores publiquem relatórios transparentes sobre os riscos dos modelos e as medidas de mitigação de riscos em vigor. A XAI ajuda as organizações a identificar esses riscos com mais facilidade. 

Menor desvio do modelo. O desempenho do modelo pode se degradar com o tempo à medida que novos dados são incorporados. XAI ajuda a analisar modelos e a gerar alertas quando ocorre desvio nos modelos e a saída se afasta do comportamento esperado. 

O campo da IA explicável vem crescendo continuamente para acompanhar os avanços dessa tecnologia. Implementar a XAI é necessário, mas as soluções não são perfeitas. Você deve estar atento às seguintes limitações:

Complexidade técnica da saída. Os métodos atuais de XAI são altamente técnicos e direcionados a experts em ML, não para usuários comuns. Para lidar com esse problema, é necessário investir em formação técnica ou desenvolver explicações sobre temas complexos em uma linguagem acessível a pessoas leigas. 

Alto custo computacional. Executar técnicas de XAI é caro. Isso porque os algoritmos de explicação precisam fazer cálculos complexos para entender por que um modelo gera uma saída específica. Isso pode significar executar o modelo milhares de vezes para entender como uma previsão simples foi feita. 

Riscos de segurança. Ao abrir uma caixa preta para entender um modelo, você corre o risco de expor formas de manipulá-lo. Isso pode criar vulnerabilidades que permitem a agentes maliciosos enganar o sistema e encontrar formas de violar a segurança. 

Entendimento e confiança 

Entender como um processo funciona não é o mesmo que confiar no processo. Você pode entender o funcionamento de um skate, mas não ter confiança para andar nele. 

O tema da confiança levanta uma questão importante: será que confiar demais na IA pode ser prejudicial? Desconfiar é saudável, e confiar demais em um sistema pode gerar exposição a erros inesperados. Por outro lado, se você não confia o suficiente nos sistemas, talvez perca alguns dos benefícios que eles oferecem. 

A IA explicável ajuda os usuários a ajustar seus níveis de confiança. Quando a XAI oferece um contexto útil, os usuários podem decidir por si mesmos até que ponto confiam no sistema.

Implementar a XAI exige grande compromisso com a transparência em todo o ciclo de vida do machine learning, do design inicial ao monitoramento. Não existe apenas uma forma de explicar as saídas de um algoritmo de ML ou IA. A abordagem depende de como o modelo é desenvolvido e quem são os usuários finais. Veja alguns fatores que devem ser considerados:

Modelos de XAI globais e locais: qual o nível de explicação necessária?

• Explicações globais oferecem uma visão geral dos padrões que o modelo utiliza para tomar decisões. Por exemplo, em um modelo que prevê autorizações de empréstimo, uma explicação global poderia ser: “O modelo dá preferência a candidatos com pontuação de crédito alta”.
• Explicações locais detalham fatores que influenciaram uma decisão específica do modelo. Por exemplo, uma explicação local para o mesmo modelo de autorização de crédito poderia ser: “O empréstimo de João Silva foi recusado em 19 de novembro porque sua pontuação de crédito era 520, mas a renda estava abaixo do limite de R$ 5.000”.

Modelos de XAI diretos e pós-hoc: como o seu modelo foi projetado para oferecer explicações?

• Modelos diretos geram resultados transparentes e rastreáveis desde o início, assim como os modelos de caixa branca.
• Já os modelos pós-hoc não foram originalmente projetados para serem interpretáveis, assim como os modelos de caixa preta. Mas é possível saber como eles funcionam aplicando algoritmos após a conclusão do treinamento. Esses algoritmos ajudam a analisar a saída e gerar uma explicação:
  • LIME (Local Interpretable Model-agnostic Explanations, ou explicações locais interpretáveis independentes de modelo)é uma técnica que manipula dados de entrada para criar uma série de dados artificiais um pouco diferentes. O LIME executa os dados sintéticos no modelo e observa as saídas, criando modelos substitutos interpretáveis para ajudar a explicar a previsão original do modelo de caixa-preta.
  • SHAP (SHapley Additive exPlanations, ou explicações aditivas de Shapley) é um método baseado na teoria dos jogos cooperativos que calcula a contribuição de cada variável de entrada e considera todas as combinações de variáveis possíveis. Ele oferece uma visão unificada de como cada variável contribui para a saída do modelo e quais variáveis influenciam as previsões.

XAI baseada em dados e em modelo: que tipo de explicação você precisa?

• Os modelos de dados oferecem explicações baseadas em como os dados de entrada influenciam a previsão.
• Modelos de XAI orientados ao modelo explicam o funcionamento interno da própria estrutura de decisão.

Práticas de IA responsável, como diretrizes éticas, transparência e mitigação de vieses, são essenciais para promover sistemas de IA confiáveis e socialmente benéficos. 

O Red Hat® AI é uma plataforma que acelera a inovação em IA e reduz o custo operacional de desenvolvimento e entrega de soluções de IA em ambientes de nuvem híbrida. 

O Red Hat AI utiliza tecnologia open source para enfrentar os desafios da IA Empresarial de larga escala. Isso significa oferecer aos nossos clientes o suporte e as ferramentas para implementar explicabilidade, governança de IA, confiança, medidas de segurança, detecção de vieses e desvios, e controle de versão.

Para entregar esses recursos, o Red Hat AI integra ferramentas que permitem aos usuários monitorar e gerenciar todo o ciclo de vida do modelo de IA. Essa funcionalidade é parcialmente viabilizada pelo TrustyAI, um kit de ferramentas open source para tecnologias de IA responsáveis com o qual com a Red Hat contribui.