Como começar a usar o InstructLab hoje mesmo

Quando as pessoas falam sobre Inteligência Artificial (IA), elas geralmente estão falando sobre a combinação de um chatbot, oferecendo entrada e saída, e um Large Language Model (LLM), que oferece os dados para o chatbot formar frases. A Inteligência Artificial sem o LLM não é muito útil, e é por isso que grande parte da discussão sobre a legalidade e a ética da IA está voltada para o que está sendo usado para construir o "conhecimento" usado pela IA Generativa (Gen AI). Como você pode ter certeza de que os dados que uma Gen AI usa para formular suas respostas são confiáveis e livres de direitos autorais? A melhor maneira de auditar ou especializar a base de conhecimento da Inteligência Artificial é usar o open source, e é isso que o projeto InstructLab possibilita.

O que é o InstructLab?

O InstructLab é um projeto de Inteligência Artificial open source que promove modelagem universal com contribuição aberta. Seu objetivo declarado é permitir que qualquer pessoa molde a Gen AI, seja para um LLM open source devido a preocupações com propriedade intelectual e direitos autorais, privacidade, confiabilidade, especialidade no assunto, acessibilidade ou qualquer outra coisa. Projetar um LLM completo é uma tarefa árdua. Por isso, a melhor maneira de criar um LLM open source é fazê-lo com o open source. Como o InstructLab é open source, você pode contribuir e ajudar a tornar os modelos de linguagem open source a melhor escolha para Gen AI. Veja três maneiras de começar a usar o InstructLab ainda hoje.

Compartilhe seu conhecimento

A Inteligência Artificial usa a probabilidade para construir suas respostas e baseia cada resposta em informações factuais que servem como modelo. A coleta de dados usada pela IA faz parte de um LLM. Para que o InstructLab seja a melhor base de conteúdo com tecnologia de IA, ele precisa oferecer um LLM abrangente. A criação de um LLM requer a formação de um banco de dados com conteúdo confiável. Na terminologia do InstructLab, isso é chamado de taxonomia, que inclui as duas categorias principais de habilidade e conhecimento.

Uma habilidade no InstructLab é executativa. Ao criar uma habilidade para o InstructLab, você o ensina a fazer algo específico, como reorganizar as palavras em uma frase mantendo o mesmo significado, encontrar duas palavras que rimam ou converter uma sequência de caracteres para maiúsculas e minúsculas.

O conhecimento é uma coleção de fatos, com citação de uma fonte confiável. Ao criar conhecimento para um modelo de linguagem, você oferece os dados do modelo que ele pode usar para responder a perguntas diretas.

Tanto a habilidade quanto o conhecimento são armazenados como mais uma linguagem de marcação (YAML), um formato de arquivo minimalista que consiste em pares de chave-valor (um "mapeamento") e listas (uma "sequência"). Veja um exemplo simples de conhecimento expresso em YAML:

---
version: 2
created_by: tux
domain: flowers
seed_examples:
 - answer: 'A carnation is a herbaceous perennial plant.'
   question: 'What kind of plant is a carnation?'
 - answer: 'Dianthus caryophyllus'
   question: 'What is the scientific name for a carnation?'
task_description: 'teach a language model about carnations'
document:
 repo: https://github.com/juliadenham/Summit_knowledge
 commit: 195fc4d83a40d8a1b60062e66e06cfc0bc9c8d35
 patterns:
   - dianthus_caryophyllus.md

Veja um exemplo simples de uma habilidade expressa como YAML:

---
version: 2
task_description: 'Teach the model how to rhyme.'
created_by: juliadenham
seed_examples:
 - question: What are 5 words that rhyme with horn?
   answer: warn, torn, born, thorn, and corn.
 - question: What are 5 words that rhyme with cat?
   answer: bat, gnat, rat, vat, and mat.
 - question: What are 5 words that rhyme with poor?
   answer: door, shore, core, bore, and tore.
 - question: What are 5 words that rhyme with bank?
   answer: tank, rank, prank, sank, and drank.
 - question: What are 5 words that rhyme with bake?
   answer: wake, lake, steak, make, and quake.

Compare os exemplos de YAML de conhecimento e habilidade. O conhecimento contém dados verificáveis sobre um tópico específico. Uma habilidade contém exemplos de uma tarefa específica.

Após ler o guia de contribuição, você pode criar um arquivo qna.yamle enviá-lo ao InstructLab para inclusão no LLM. Talvez seja necessário revisar seu trabalho para garantir que ele possa ser processado e integrado ao projeto. Além disso, é útil se familiarizar com ferramentas como o yamllint. No entanto, com um pouco de esforço, você pode fazer uma contribuição significativa para a IA open source.

Execute uma Inteligência Artificial localmente com o comando ilab

Configurar uma Inteligência Artificial é um processo bastante complexo e manual, mas com o InstructLab é mais fácil do que você imagina. Você precisa ter familiaridade com as ferramentas do Python, como ambientes virtuais e pip, e com um ambiente de terminal, como o Bash. Você também deve ter CUDA (ou um framework de computação paralelo semelhante) configurada no sistema e bastante espaço em disco (o LLM tem 5 GB e pode crescer).

Siga o guia de instalação no repositório do InstructLab e interaja com a IA e o modelo do InstructLab para relatar bugs e solicitações de funcionalidades.

Contribua com o código

No momento, o projeto InstructLab consiste em 12 repositórios. Há a interface de linha de comando ilab, uma biblioteca Python para geração de dados sintéticos, documentos de design, arquivos de taxonomia e o esquema JSON para a taxonomia do YAML e muito mais. Se você é uma pessoa que programa, pode encontrar problemas ou solicitações de funcionalidades em relatórios de bugs não fechados que pode ajudar a resolver.

Para sua primeira contribuição, geralmente faz sentido resolver um problema menor, antecipando que você usará a maior parte do seu tempo entendendo o processo da equipe de desenvolvimento. Os bugs que exigem apenas uma correção simples são marcados com good first issue, portanto, use is:open is:issue label:"good first issue" como um filtro ao procurar um bom ponto de entrada. Há também um guia para colaboradores iniciantes, que explica em detalhes como configurar seu ambiente de desenvolvimento e, igualmente importante, testar seu novo código antes de solicitar uma mesclagem.

A Inteligência Artificial open source está ao nosso alcance e, como qualquer forma de open source, ela deve colocar o controle e os termos da Inteligência Artificial nas mãos dos usuários. Se você lida com um domínio especializado, a Inteligência Artificial geral pode não ter o conhecimento ou as habilidades necessárias para ser útil aos usuários. Se você lidar com dados confidenciais, a IA geral pode não ter acesso às informações de que seus usuários precisam. Com o InstructLab, você pode ajudar a criar um LLM universal e aberto ou até mesmo criar o seu próprio modelo. Seja qual for seu objetivo, comece hoje mesmo com o InstructLab!