Um "sistema operacional neural" modular com modelos pequenos em um PC sem GPU: o que funcionou, o que não, e busco opiniões

Este tópico foi traduzido automaticamente do espanhol. Ver original
FredoCubaP

FredoCubaP

Usuario nuevo
Usuário com poucas negociações! Use sempre o saldo do ForoBeta!
Olá a todos. Estou há algumas semanas com um projeto de pesquisa pessoal e quero contar sobre ele para receber críticas de pessoas que saibam mais do que eu. Não vou liberar o repo por enquanto, mas compartilho método e resultados.

A ideia

Separar duas coisas que os modelos grandes misturam:
  • Um núcleo pequeno que raciocina (no meu caso Qwen2.5-0.5B-Instruct, e 1.5B para validar).
  • Módulos de conhecimento intercambiáveis a quente, hoje adaptadores LoRA, que são escolhidos, combinados e retirados por requisição.
É parecido com o que o Karpathy chama de "cognitive core": um modelo pequeno que conserva o raciocínio e busca os fatos fora.

O destino concreto

Um NPC de um videogame (Kenshi) que conheça o lore de verdade e fale com a voz da sua facção, servido por um mod que aceita qualquer API compatível com OpenAI. Tenho um dataset próprio em espanhol, privado, então não vou compartilhá-lo.

Como eu faço (hardware modesto)
  • Meu PC não tem GPU dedicada: laboratório em CPU + iGPU (Vulkan) com llama.cpp.
  • Treino em uma T4 gratuita do Colab e só guardo os adaptadores.
  • Cada resultado eu verifico contra um controle: PEFT contra GGUF, escalas em 0, controle de eco na avaliação.

Resultados até agora

E1 - Dá para trocar de LoRA por requisição no llama-server?

  • Sim. Trocar é grátis, mas cada LoRA ativo custa ~20 % a mais de leitura de prompt.
  • Um LoRA "SQL" saiu pior que a base, e o nome do adaptador não garante sua especialidade.

E2 - Um LoRA aprende o lore de um jogo?
  • Aprende a forma, não os fatos.
  • Recombina entidades: acerta ~26 % em paráfrases, e isso é limite superior.
  • Aumenta a alucinação e prejudica o que está fora do domínio.

Duas armadilhas que me custaram tempo, caso sirvam para alguém:
  • No llama-server, "lora": [] aplica todos os adaptadores em vez de nenhum.
  • Se você pontua a resposta buscando palavras-chave, é preciso descartar as que já vinham na pergunta; senão, o modelo "acerta" repetindo-a.

O que quero perguntar
  1. Com 0.5B, é de se esperar que um LoRA aprenda a forma mas não os fatos? Subir para 1.5B muda o panorama ou é melhor ir direto para RAG?
  2. Alguém conseguiu que um LoRA retenha fatos de verdade (paráfrases, Deep Context Distillation, mais épocas)? Com qual rank e qual learning rate?
  3. Memory layers ou WISE como substrato de conhecimento em vez de LoRA: vale a pena testá-los ou é demais para este tamanho?
  4. Como vocês avaliariam "sabe o lore" sem cair em medir só memorização de formato?

Sei que é um tema de nicho para este fórum. Coloco aqui porque me interessa qualquer opinião, de ML ou de fora, e se houver alguém que tenha feito algo parecido, melhor ainda. Obrigado por ler.
 
Foi útil? Participe da conversa

Com sua conta grátis você pode responder, mandar mensagem privada ao autor e comprar com Saldo retido: o pagamento é liberado quando você recebe o combinado.

Leva 30 segundos · você volta a este tópico ao terminar
Voltar
Topo