Pequenos modelos de linguagem: o que são e porque o setor financeiro deveria se importar com eles?

No ano passado, ao participar do Febraban Tech 2024, um evento do setor de serviços financeiros na América Latina, ficamos intrigados ao saber que 96% dos bancos participantes de uma pesquisa da entidade ​​têm iniciativas de inteligência artificial (IA). Nos perguntamos: quantos bancos estão realmente aproveitando as iniciativas de IA? E como as instituições financeiras podem se beneficiar  do que os pequenos modelos de linguagem têm a oferecer? E essas vantagens podem ser aplicadas além do mundo dos serviços financeiros?

O que são os pequenos modelos de linguagem?

Um aspecto fundamental de um modelo de IA é a quantidade de parâmetros usados ​​para treinar um determinado modelo. Ao explorar modelos, você verá que esse número está na casa dos bilhões para cada modelo. Quanto maior o valor, mais rico o aprendizado e mais avançada sua capacidade de lidar com tarefas de linguagem mais complexas. Quanto maior, melhor? Bem, isso depende. Se você tiver que personalizar um modelo de centenas de bilhões de parâmetros, precisará de uma capacidade computacional e de GPU significativas (por volta de dias ou semanas) para realizar uma única rodada de treinamento desse modelo.

Um pequeno modelo de linguagem (SLM) é um modelo que você pode personalizar ou ajustar com seus próprios dados dentro de um tempo razoável com o hardware disponível no momento (supondo que você tenha recursos de computação acelerada ou acesso a uma instância de nuvem apropriada).

Se você fizer sua própria pesquisa sobre modelos de IA, verá que alguns oferecem variantes de parâmetros do modelo base. Por exemplo, a família de modelos Granite 3.1 oferece variantes que vão desde 34 bilhões de parâmetros até menos de um bilhão. Considere começar com variantes de menor tamanho para descobrir as capacidades de um modelo e aumentar a escala em caso de necessidade — e para descobrir as melhorias que um modelo de parâmetro maior pode fornecer, se houver. Um modelo menor permitirá que você comece mais rapidamente e ajuste em um prazo razoável.

SLMs em serviços financeiros

Ao analisar esse tópico, nos deparamos com um artigo interessante de Drew Breunig. Em seu texto, ele divide a IA em 3 principais casos de uso: Deuses, Estagiários e Engrenagens. O caso “Deus” é a IA capaz de substituir totalmente um ser humano, ​​ou inteligência geral artificial (AGI), para onde muitos financiamentos e pesquisas estão indo atualmente; “Estagiários” produzem conteúdo muito bom, mas devem ter seu conteúdo revisado para confirmar que é preciso e apropriado; e, finalmente, as “engrenagens” — onde vemos SLMs existindo — são modelos construídos com um propósito, que apresentam uma baixa taxa de erro, permitindo que sejam executados sem supervisão e um domínio onde os usuários podem obter economias significativas.

Testes, desenvolvimento de código, testes de estresse e previsões são fortes candidatos para IA do tipo “estagiário”. Especialistas e margens de erro baixas no setor de serviços financeiros, como atendimento ao cliente, hiperpersonalização, detecção de fraudes e tratamento de documentos são candidatos naturais para modelos de “engrenagens” específicos e especializados. Em princípio, essas tarefas não são exclusivas do setor financeiro, então é certamente viável que outros setores possam tirar proveito das engrenagens baseadas em SLM de forma semelhante.

Benefícios dos SLMs

Há interesse por modelos de IA maiores e mais complexos? Claro. Eles podem ser úteis para mecanismos de supervisão, modelos de base de julgamento/ensino ou onde é desejável ter um amplo conhecimento geral, mas podem vir com seus custos, complexidade e requisitos associados.

Em vez de adotar uma abordagem monolítica para IA e apostar tudo em um único LLM, as organizações devem considerar uma solução composta de modelos construídos para um propósito específico, potencialmente até mesmo uma mistura de SLMs e/ou LLMs. Isso se torna especialmente interessante se você for capaz de parear esses modelos com aplicações de TI nativas da nuvem ou tradicionais existentes, criando um fluxo de trabalho interconectado na nuvem híbrida.

Uma coleção de SLMs construída para propósitos definidos pode ajudar a:

• Melhorar a postura de segurança do seu conteúdo por controlar todos os aspectos do seu modelo.
• Acelerar a inovação por meio de aprimoramentos.
• Separar o acesso implementando o acesso por modelo aos sistemas de back-end.
• Melhorar o controle de qualidade versionando cada um dos modelos.
• Gerenciar custos e habilitar eficiência diminuindo o tempo de treinamento de um modelo.

A boa notícia é que ferramentas open source para experimentar e construir seus próprios SLMs estão prontamente disponíveis. Recomendo experimentar o InstructLab, um projeto inovador desenvolvido pela IBM e pela Red Hat, que fornece ferramentas de alinhamento de modelos para ajudar as organizações a contribuírem de forma mais eficiente com habilidades e conhecimento para seus modelos de IA generativa, a fim de atender às necessidades de suas aplicações e negócios habilitados para IA.

Há muitos motivos para amar SLMs, não apenas no mundo dos serviços financeiros, mas na comunidade empresarial em geral. Explore suas opções e, com ferramentas e modelos licenciados open source, você pode personalizar e ajustar um modelo de IA que funcione para você. Então, experimente e você pode perceber como usar seus próprios SLMs pode ajudá-lo a resolver os problemas da sua empresa.