Processo escalável e econômico de ajuste fino para LLMs

Em casos de uso de IA genéricos, a capacidade de um Large Language Model (LLM) de entender padrões e relações em uma ampla variedade de dados costuma ser suficiente. Mas para obter uma vantagem competitiva, uma organização precisa aproveitar sua própria expertise de domínio específico. Em outras palavras, seu ingrediente secreto. A natureza específica de um negócio exige um LLM personalizado para explorar totalmente a taxonomia, as habilidades e o conhecimento dele.

Então a questão é: para obter uma vantagem competitiva, como você pode adaptar um LLM genérico a um caso de uso específico, domínio de conhecimento, jargão, contribuição do cliente etc.? E como fazer isso com um bom custo-benefício? O ideal é começar aos poucos, evoluir rapidamente e continuar agregando valor ao negócio.

Há várias maneiras de abordar isso, incluindo ajuste de prompts e geração aumentada de recuperação (RAG). Mas para superar as limitações dessas técnicas, também precisamos considerar o ajuste fino, o processo de ajustar um modelo pré-treinado em um conjunto de dados ou tarefa específica para melhorar o desempenho dele em uma determinada aplicação.

No entanto, o ajuste fino e o refinamento do LLM apresentam alguns desafios, como, por exemplo:

• O ajuste fino de um LLM para compreender áreas específicas de conhecimento normalmente envolve realizar um treinamento caro e com grande consumo de recursos.
• Em geral, os aperfeiçoamentos feitos em um LLM exigem grandes quantidades de dados cuidadosamente selecionados gerados por humanos, cuja obtenção é cara e demorada. Esses dados também podem introduzir preocupações de segurança e privacidade.
• O ajuste fino exige cientistas de dados cada vez mais caros e difíceis de encontrar.

Como a Red Hat AI pode ajudar?

O Red Hat AI acelera a adoção da IA empresarial com modelos pequenos e específicos, técnicas de personalização eficientes e flexibilidade para desenvolver e implantar em qualquer lugar. O portfólio do Red Hat AI é composto pelo Red Hat Enterprise Linux AI (RHEL AI), Red Hat OpenShift AI, aceleradores e serviços que oferecem aos clientes um conjunto abrangente de recursos.

O RHEL AI foi criado para desenvolver, testar e executar modelos base de IA generativa (gen AI) e inclui uma versão do InstructLab, um projeto conduzido pela comunidade que ajuda os desenvolvedores a experimentar os Granite LLMs da IBM.

Sobre o InstructLab

O InstructLab (LAB) é derivado do trabalho de alinhamento em larga escala para chatbots da IBM Research. O método LAB consiste em três fases:

• Seleção de dados: esta é uma abordagem colaborativa destinada a experts no assunto que não têm treinamento ou experiência em ciência de dados. Com o método LAB, esses cientistas não especializados em dados podem contribuir com uma taxonomia selecionada de conhecimentos e habilidades de domínio específico.
• Geração de dados sintéticos em larga escala: um modelo é usado para gerar mais exemplos com base nos dados selecionados. Usar dados sintéticos como esses é uma prática importante para influenciar e expandir o conhecimento de domínio disponível para um modelo. Esses dados por si só também são um recurso útil e sua geração automática é econômica, mais segura e não inclui nenhuma informação de identificação pessoal (PII).
• Ajuste iterativo em larga escala: por fim, o modelo é retreinado com base nos dados sintéticos gerados. O método LAB inclui duas subfases de ajuste: do conhecimento e das habilidades.

Com o método LAB, o modelo mantém o poder generativo e a precisão originais de seu treinamento inicial com LLM enquanto adquire novas habilidades.

Comece aos poucos e escale no caminho

O Red Hat OpenShift AI fornece uma plataforma para executar o método LAB em ambientes empresariais. O OpenShift AI é uma plataforma open source que ajuda a gerenciar o ciclo de vida de modelos de IA e aplicações com esse tipo de tecnologia. Ele fornece serviços para desenvolver modelos e automatizar processos de IA, como pipelines de funções, treinamento e ajuste de modelos. Ele também inclui serviços prontos para uso para rastreamento de experimentos, controle de versão de modelos e monitoramento geral. O OpenShift AI usa e oferece suporte a vários projetos conhecidos de open source. Para o método LAB, usamos especificamente: 

• Pipelines de ciência de dados (DSP): um serviço baseado no Kubeflow Pipelines para criar e implementar fluxos de trabalho de IA portáteis e escaláveis.
• Kubeflow Training Operator (KFTO): um operador para ajuste fino e treinamento de modelos escaláveis e distribuídos. 

A Red Hat automatizou o método LAB usando DSP e KFTO para tornar todo o processo mais escalável, eficiente e auditável. 

Com os DSPs, podemos configurar o processo de ajuste fino do LAB usando um gráfico acíclico direcionado (DAG) e disponibilizar uma representação visual. As diferentes fases e o status de execução são representados de uma maneira fácil para todas as partes interessadas entenderem. Os engenheiros de IA também podem monitorar o progresso do método LAB no dashboard do OpenShift AI e visualizar as diferentes saídas, incluindo métricas e o próprio modelo ajustado. O controle de versão e o rastreamento são feitos automaticamente para que engenheiros de IA e cientistas de dados comparem as mudanças no desempenho do modelo à medida que iterarem e modificarem parâmetros e recursos. 

Com a integração entre KFTO e DSP, cientistas de dados e equipes de operações de aprendizado de máquina (MLOps) podem aproveitar o poder do cluster OpenShift existente com economia e escalabilidade. Dependendo do investimento desejado, as organizações podem configurar a cota de recursos e o número de nós de trabalho do OpenShift habilitados para GPU para executar a fase de treinamento. O KFTO gerencia a escalabilidade e o uso eficiente desses recursos em nome do usuário. O OpenShift AI também ajuda experts no assunto, cientistas de dados e engenheiros de IA a colaborar em uma interface adaptada a esses diferentes usuários.

Descubra mais sobre Pipelines de ciência de dados no OpenShift (DSP) e comece sua jornada de ajuste fino escalável lendo Como fazer ajuste fino em LLMs com o Kubeflow Training Operator (em inglês) no blog do Red Hat Developer.