FredoCubaP
Usuario nuevo
Usuário com poucas negociações! Use sempre o saldo do ForoBeta!
Olá a todos. Estou há algumas semanas com um projeto de pesquisa pessoal e quero contar sobre ele para receber críticas de pessoas que saibam mais do que eu. Não vou liberar o repo por enquanto, mas compartilho método e resultados.
A ideia
Separar duas coisas que os modelos grandes misturam:
O destino concreto
Um NPC de um videogame (Kenshi) que conheça o lore de verdade e fale com a voz da sua facção, servido por um mod que aceita qualquer API compatível com OpenAI. Tenho um dataset próprio em espanhol, privado, então não vou compartilhá-lo.
Como eu faço (hardware modesto)
Resultados até agora
E1 - Dá para trocar de LoRA por requisição no llama-server?
E2 - Um LoRA aprende o lore de um jogo?
Duas armadilhas que me custaram tempo, caso sirvam para alguém:
O que quero perguntar
Sei que é um tema de nicho para este fórum. Coloco aqui porque me interessa qualquer opinião, de ML ou de fora, e se houver alguém que tenha feito algo parecido, melhor ainda. Obrigado por ler.
A ideia
Separar duas coisas que os modelos grandes misturam:
- Um núcleo pequeno que raciocina (no meu caso Qwen2.5-0.5B-Instruct, e 1.5B para validar).
- Módulos de conhecimento intercambiáveis a quente, hoje adaptadores LoRA, que são escolhidos, combinados e retirados por requisição.
O destino concreto
Um NPC de um videogame (Kenshi) que conheça o lore de verdade e fale com a voz da sua facção, servido por um mod que aceita qualquer API compatível com OpenAI. Tenho um dataset próprio em espanhol, privado, então não vou compartilhá-lo.
Como eu faço (hardware modesto)
- Meu PC não tem GPU dedicada: laboratório em CPU + iGPU (Vulkan) com llama.cpp.
- Treino em uma T4 gratuita do Colab e só guardo os adaptadores.
- Cada resultado eu verifico contra um controle: PEFT contra GGUF, escalas em 0, controle de eco na avaliação.
Resultados até agora
E1 - Dá para trocar de LoRA por requisição no llama-server?
- Sim. Trocar é grátis, mas cada LoRA ativo custa ~20 % a mais de leitura de prompt.
- Um LoRA "SQL" saiu pior que a base, e o nome do adaptador não garante sua especialidade.
E2 - Um LoRA aprende o lore de um jogo?
- Aprende a forma, não os fatos.
- Recombina entidades: acerta ~26 % em paráfrases, e isso é limite superior.
- Aumenta a alucinação e prejudica o que está fora do domínio.
Duas armadilhas que me custaram tempo, caso sirvam para alguém:
- No llama-server, "lora": [] aplica todos os adaptadores em vez de nenhum.
- Se você pontua a resposta buscando palavras-chave, é preciso descartar as que já vinham na pergunta; senão, o modelo "acerta" repetindo-a.
O que quero perguntar
- Com 0.5B, é de se esperar que um LoRA aprenda a forma mas não os fatos? Subir para 1.5B muda o panorama ou é melhor ir direto para RAG?
- Alguém conseguiu que um LoRA retenha fatos de verdade (paráfrases, Deep Context Distillation, mais épocas)? Com qual rank e qual learning rate?
- Memory layers ou WISE como substrato de conhecimento em vez de LoRA: vale a pena testá-los ou é demais para este tamanho?
- Como vocês avaliariam "sabe o lore" sem cair em medir só memorização de formato?
Sei que é um tema de nicho para este fórum. Coloco aqui porque me interessa qualquer opinião, de ML ou de fora, e se houver alguém que tenha feito algo parecido, melhor ainda. Obrigado por ler.