O que são modelos Granite?

Granite é uma série de Large Language Models (LLMs) desenvolvida pela IBM para aplicações empresariais. Os modelos fundamentais Granite oferecem suporte a casos de uso de inteligência artificial generativa (gen IA) que envolvem linguagem e código.

Os modelos da família Granite são open source e certificados sob a licença Apache 2.0. Com isso, os desenvolvedores podem testar, modificar e distribuir esses modelos gratuitamente. Por isso, os modelos Granite são uma boa escolha para organizações que lidam com dados confidenciais e querem executar seu próprio LLM em vez de depender de um serviço externo.

Confira como o Granite funciona com soluções Red Hat

Os modelos fundamentais são treinados para apresentar uma compreensão abrangente dos padrões, estruturas e representações de linguagem. Esse treinamento “básico” ensina ao modelo a se comunicar e identificar esses padrões. Isso é chamado de inferência de IA. A inferência de IA é a fase operacional da IA, em que o modelo é capaz de aplicar o que aprendeu no treinamento em situações reais.

A importância da inferência de IA 

Os modelos de IA do IBM Granite possuem esse conhecimento básico, que pode passar por um ajuste fino para executar tarefas específicas de praticamente qualquer setor. Os modelos da família Granite são treinados com dados selecionados e oferecem transparência em relação aos dados utilizados no treinamento.

Os LLMs usam a gen IA para produzir novos conteúdos baseados nos prompts fornecidos por um usuário. Atualmente, é comum usar a gen AI para gerar texto, imagens, vídeo e código. As empresas podem usar modelos de base de LLM para automatizar vários aspectos das operações, como atendimento ao cliente por chatbots ou testes de código de software.

Outros modelos fundamentais de LLM que usam gen IA incluem o LLaMa da Meta (que inclui LLaMa 2 e LLaMa 3), o Gemini do Google, o Claude da Anthropic e o GPT da OpenAI (conhecida pelo famoso bot ChatGPT) e o Mistral. O diferencial dos modelos de IA Granite é a transparência em relação os dados de treinamento, o que fortalece a confiança dos usuários e torna esses modelos a escolha ideal para ambientes empresariais.

Sim, algumas das séries de modelos de IA Granite estão disponíveis sob uma licença open source, permitindo que os desenvolvedores as acessem e aprimorem localmente. Eles podem fazer o ajuste fino do modelo para ele atender objetivos específicos. Os usuários têm acesso à maior parte dos dados utilizados para treinar o modelo (em PDF), o que facilita a compreensão de sua construção e funcionamento.

No caso dos modelos Granite, open source significa um ambiente onde os desenvolvedores podem personalizar o modelo com seus próprios dados para gerar resultados específicos para cada usuário. Isso não quer dizer que os dados privados de todos ficam disponíveis para toda a comunidade open source. Diferente da IA de serviços web públicos, os modelos Granite não são treinados continuamente. Assim, nenhuma das entradas de dados no modelo da família Granite será compartilhada com a Red Hat, a IBM ou outros usuários do Granite.

Empresas de diversos setores, da saúde à construção, podem usar o Granite de diferentes maneiras para automatizar operações em larga escala. Os modelos Granite podem ser treinados em tarefas do setor de negócios, como resumo, resposta a perguntas e classificação. Veja alguns exemplos:

• Geração de código: os modelos de código Granite podem ajudar a desenvolver ou melhorar o trabalho dos desenvolvedores para tornar os processos mais eficientes. Por exemplo, os desenvolvedores podem aproveitar o preenchimento automático: assim como o preenchimento automático em smartphones, o modelo pode terminar uma linha de código antes de o desenvolvedor terminar de digitar.
• Extração de insights: quando você precisa simplificar, resumir ou explicar grandes conjuntos de dados, o Granite pode identificar padrões precisos e insights rapidamente. Assim, você não precisa verificar manualmente grandes volumes de dados. 

• Arquitetura flexível: é possível integrar o Granite a sistemas existentes e implantá-lo on-premise ou na nuvem. Ele conta com interfaces desenvolvidas para simplificar a implantação. A família Granite inclui modelos de diversos tamanhos. Assim, você pode escolher o que melhor atende às suas necessidades, gerenciando os custos de computação.
• Soluções personalizadas: o Granite é comercializado como modelo fundamental, mas foi desenvolvido para ser treinado com conhecimentos específicos dos negócios. Os usuários têm flexibilidade para escalar e fazer o ajuste fino no modelo, podendo personalizá-lo conforme as demandas empresariais. Por exemplo, se o foco da sua empresa for dispositivos médicos, você pode ensinar o jargão usado na área da saúde ao modelo.
• Baixa latência: ao executar um modelo Granite na sua própria infraestrutura, você pode otimizar os tempos de resposta. Como o modelo é capaz de fornecer dados em tempo real, ele é bastante útil para operações essenciais. Ainda usando o exemplo da área da saúde, acessar dados em tempo real é importante para a colaboração remota entre médicos, pacientes e atendimento de urgência. Com a compactação, o modelo Granite entrega alto desempenho consumindo menos recursos.
• Alta precisão: na série Granite, os desenvolvedores podem ajustar o modelo para tarefas específicas do setor e torná-lo expert em qualquer assunto. Ele também pode ser treinado em vários idiomas para manter a precisão e a acessibilidade em escala global.
• Modelos transparentes: uma vez que o Granite está disponível sob uma licença open source, os desenvolvedores conseguem ver como o modelo de IA foi criado e treinado, além de poder colaborar com uma comunidade open source.

Sim, os modelos Granite são compatíveis com recursos de inferência distribuída. 

A inferência distribuída permite que modelos de IA processem cargas de trabalho com mais eficiência, dividindo a execução da inferência entre um conjunto de dispositivos interconectados. A inferência distribuída oferece suporte a um sistema que divide as solicitações entre uma frota de hardware, incluindo servidores físicos e de nuvem. 

Após essa etapa, cada servidor de inferência processa a parte atribuída a ele em paralelo para gerar uma saída. O resultado é um sistema resiliente e observável voltado à entrega de serviços consistentes e escaláveis com tecnologia de IA. Frameworks como o llm-d oferecem suporte à inferência distribuída em grande escala para acelerar aplicações de gen IA em toda a empresa.

Descubra como a inferência distribuída pode ajudar você ainda mais 

Resumindo, não existe IA sem inferência. 

Porém, a inferência é fortemente impactada pelos modelos em crescimento constante. Conforme os modelos ganham complexidade, a inferência tende a ficar mais lenta.

Para a inferência ser bem-sucedida, os modelos de IA exigem um alto volume de processamento em pouco tempo. Portanto, o tamanho do modelo, o alto volume de acessos e as exigências de latência são fatores que podem limitar o desempenho. Com o aumento da demanda por dados e memória, o hardware e os aceleradores passam a enfrentar limitações de desempenho.

Por isso, o hardware e o software que viabilizam a inferência podem determinar o sucesso ou o fracasso da sua estratégia de IA, e o Granite é feito para recursos de inferência avançados.

A importância da inferência de IA 

A IBM lançou várias séries de modelos Granite para atender às necessidades de aplicações empresariais cada vez mais complexas. Há diferentes convenções de nomenclatura e categorias para as séries de modelos na família Granite.

Cada série atende a um propósito diferente:

• Granite para linguagem: esses modelos oferecem PLN (Processamento de Linguagem Natural) com precisão em vários idiomas, mantendo a baixa latência. 

  Conheça casos de uso da IA generativa

• Granite para código: esses modelos são treinados em mais de 100 linguagens de programação diferentes para oferecer suporte a tarefas de software de nível empresarial.
• Granite para séries temporais: esses modelos são ajustados para previsões de série temporal, um método de prever dados futuros usando dados do passado.

• Granite para GeoSpatial: a IBM e a NASA desenvolveram este modelo fundamental para observar o planeta Terra, utilizando dados de satélites em larga escala para monitorar e responder a mudanças ambientais.

  Conheça casos de uso da IA preditiva

Em todas essas séries, o Granite oferece modelos com diferentes tamanhos e funcionalidades. Por exemplo, o Granite for Language inclui:

• Granite-7b-base, um modelo de linguagem de uso geral para fins de conversação.
• Granite-7b-instruct, especializado em seguir instruções específicas para a execução de tarefas.

Conheça os modelos do Granite no Hugging Face

O Red Hat® AI foi desenvolvido para oferecer inferências rápidas, flexíveis e eficientes por meio de um servidor com tecnologia vLLM. Ele conecta modelos aos seus dados com segurança e consistência para unificar a personalização e o desenvolvimento de agentes especializados na mesma plataforma. Desenvolvidas sobre uma base open source, nossas soluções oferecem controle total dos fluxos de trabalho de IA de ponta a ponta em qualquer escala. 

O Red Hat AI Portfolio inclui o Red Hat AI Inference, um stack de inferência que oferece o controle operacional para executar todos os modelos em qualquer acelerador na nuvem híbrida. Tenha uma inferência rápida, eficiente e econômica em grande escala. 

Conheça o Red Hat AI