ChatGPT, Gemini e Perplexity recomendam o mesmo? Estudo em A Coruña: só 8 de 222 negócios

  • Autor Autor heyscale
  • Data de início Data de início
Este tópico foi traduzido automaticamente do espanhol. Ver original
heyscale

heyscale

Empresa
Usuario nuevo
Usuário com poucas negociações! Use sempre o saldo do ForoBeta!
Olá a todos, esta semana a Iberian Press divulgou um estudo do consultor de SEO Manu Fraga sobre quem ChatGPT, Gemini e Perplexity recomendam quando alguém pede a eles um negócio em A Coruña. Ele fez a mesma pergunta às três, com busca na web ativada, em dez setores (dentista, fisioterapeuta, advogado, restaurante, salão de beleza, oficina mecânica, imobiliária…), duas vezes cada uma: 60 respostas no total.
O resultado: apareceram 222 negócios diferentes e só 8 são citados pelas três; 80 % aparecem em uma única ferramenta. Além disso, ao repetir a pergunta, o ChatGPT manteve em média só 17 % dos negócios, contra 60 % do Gemini e 64 % do Perplexity. Segundo o estudo, os nomes saem de quatro tipos de site: um site próprio que explica com clareza o que o negócio faz e onde, perfis completos em diretórios do setor, boas avaliações no Google e menções de terceiros (imprensa local, guias).
Atenção às ressalvas: o próprio estudo avisa que as perguntas foram feitas via API, sem histórico nem localização do usuário, e que é uma foto de um momento, não um ranking. Além disso, quem assina é um consultor que trabalha justamente com isso, então convém lê-lo com distanciamento.
Nossa leitura: se cada assistente puxa de fontes diferentes e ainda muda de uma consulta para outra, não há uma receita única e é preciso cuidar de várias frentes ao mesmo tempo, sem prometer posições a ninguém. E queremos perguntar a vocês: já testaram fazer a mesma pergunta várias vezes para o seu setor e cidade? A resposta muda de um dia para o outro? Vocês já contam isso aos seus clientes ou acham que ainda é cedo? Obrigado por compartilharem sua experiência.
 
Foi útil? Participe da conversa

Com sua conta grátis você pode responder, mandar mensagem privada ao autor e comprar com Saldo retido: o pagamento é liberado quando você recebe o combinado.

Leva 30 segundos · você volta a este tópico ao terminar
Olá, heyscale. Somos a equipe da abogadostop10, marca da Ibérica Digital Partner (Alicante): fazemos marketing para escritórios de advocacia, então o setor «advogado» do estudo nos toca em cheio.

Antes de te responder, uma objeção ao dado que mais vai ser citado daqui. Os «80 % aparecem em uma única ferramenta» e os «17 % de estabilidade no ChatGPT» não são duas descobertas independentes: com só duas repetições por pergunta, um negócio pode ficar como exclusivo de uma ferramenta simplesmente porque na outra não apareceu daquela vez. Para separar «esta ferramenta não me conhece» de «esta ferramenta muda de resposta» são necessárias mais repetições da mesma pergunta; com duas não dá para distinguir, e o estudo não separa isso.

Ao que você pergunta:

1) Sim, repetimos a pergunta por especialidade e cidade (penal, família, imigração mais Alicante) e a resposta muda. O aviso prático é outro: se você testa pelo app com a sua conta, está medindo seu histórico e sua localização, não o que um cliente vê. Para servir, chat temporário ou sessão deslogada e sempre exatamente a mesma redação; senão, você não compara dois dias, compara dois contextos.

2) Aos clientes nós contamos, mas nunca como posição. Damos a eles o que não depende de como o prompt é redigido: se os rastreadores passam pelo site (dá para ver nos logs do servidor, por user agent) e se chega gente vinda de chatgpt.com ou perplexity.ai. Prometer «aparecer no ChatGPT» nós não fazemos: com essa variabilidade, não é algo que se possa prometer.

E dos quatro tipos de fonte que ele cita, o que mais fez diferença para nós em escritórios —observação nossa, não uma prova— é o site próprio explicando claramente o que faz e onde. É a única das quatro que você controla.
 
@abogadostop10 obrigado pela resposta tão detalhada, e você tem razão na objeção: com só duas repetições por pergunta, «80 % aparecem em uma única ferramenta» e «17 % de estabilidade» não podem ser lidos como duas descobertas separadas, e o estudo não distingue entre «esta ferramenta não me conhece» e «esta ferramenta muda de resposta». Tomamos isso como uma foto do momento, não como uma medição.
Ficamos com seus dois avisos práticos: testar em chat temporário e com exatamente a mesma redação (não pelo app com a sua própria conta, que mede seu histórico e sua localização), e não prometer posição, mas sim verificar se os rastreadores passam pelo site e se chega tráfego de chatgpt.com ou perplexity.ai.
Uma dúvida: quantas repetições da mesma pergunta vocês acham suficientes para confiar em uma resposta, cinco, dez?
 
Olá, heyscale. Vou te responder com o número que usamos e com o motivo, que acho que ajuda mais do que o número solto.

Nem cinco nem dez, se o que você quer tirar é uma porcentagem. Com cinco rodadas, a única coisa que você pode afirmar sem exagerar é em qual de três gavetas o negócio cai: não aparece nunca (0 de 5), aparece sempre (5 de 5) ou é instável (qualquer coisa no meio). Para dizer «aparece 40 % das vezes» e o número se sustentar, seriam necessárias umas cem repetições da mesma pergunta: com cinco ou com dez, a margem de erro é mais larga do que a diferença que você quer medir. Passar de cinco para dez não te muda de gaveta, só estreita um pouco essa margem.

Nós ficamos em cinco, e o que anotamos é a contagem e a data, nunca a porcentagem: «3 de 5, 26-out, Perplexity». Assim dá para comparar um mês com outro sem discutir por causa da casa decimal.

E o que você economiza por não fazer dez, eu colocaria em dois lugares:

Em variantes da pergunta, não em mais rodadas da mesma. «Melhor advogado de família em Alicante» e «preciso de um advogado para um divórcio em Alicante» nos devolvem listas diferentes, enquanto duas rodadas da mesma frase são bem parecidas entre si. A redação mexe mais do que a repetição. É uma observação nossa, não uma medição, mas é o motivo pelo qual preferimos cinco perguntas diferentes a dez repetições de uma.

E em repetir ao longo do tempo: a mesma pergunta uma vez por semana durante dois meses diz muito mais do que dez rodadas na mesma tarde. As cinco de uma tarde compartilham a versão do modelo e o mesmo índice de busca, então também não são totalmente independentes; quando a ferramenta é atualizada, o quadro inteiro muda. Por isso anotamos sempre a data e a ferramenta, e se a versão muda começamos uma contagem nova.
 
Uma coisa que mudou pra mim a leitura desses testes, e que não é o número de repetições.

Quando o negócio aparece, anoto também a URL que a ferramenta cita nessa resposta, não só se o nome aparece. No ChatGPT, as vezes em que «desaparece» quase sempre coincidem com o fato de que aquela rodada citou outro diretório ou uma notícia velha, não com o modelo ter esquecido a ficha. Se em 3 de 5 aparece e as três citam a mesma página de vocês, o que é preciso cuidar é dessa URL: primeira frase com o serviço e a cidade, e os mesmos dados que na ficha do Google. Se as duas que falham citam sempre o mesmo concorrente, o trabalho está nessa fonte, não em refazer a pergunta.

E eu separaria dois testes que o estudo junta ao ser feito por API, sem localização:

  • Sem localização (janela privada e localização bloqueada): mede se o site e os diretórios sustentam vocês sozinhos.
  • Com a localização na cidade, ou a busca feita de lá: o Gemini e o Google se apoiam muito mais na ficha e na proximidade. Se vocês só medem a primeira, vão tirar peso da ficha e discutir com um cliente que busca do celular em A Coruña.

Para o cliente eu não venderia «vamos colocar vocês no ChatGPT». Mas mostraria a planilha: data, ferramenta, como a pergunta estava redigida, se apareceu e qual URL citou. No mês seguinte dá para ver se a fonte mudou, que é a única coisa em que se pode trabalhar.
 
Olá. Sou de Ferrol e tenho uma imobiliária, então o estudo me toca de perto por dois motivos: setor e região.
Faz alguns meses que pergunto a elas por imobiliária em Ferrol e por variações do tipo quero vender um apartamento em Ferrol, e confirmo o que diz o tópico: as listas se parecem pouco entre ferramentas e também não muito entre semanas. O que de fato bateu para mim é de onde saem os nomes. Nas vezes em que aparecemos, vinha quase sempre de dois lugares: a ficha do Google com avaliações recentes, e páginas nossas que dizem a região em texto simples (trabalhamos em Ferrol, Narón, Valdoviño...). Quando o texto é o clássico somos líderes do setor, ninguém aparece.
Uma coisa que não aparece no estudo e na prática pesa: escrever o nome do negócio sempre igual. Se em um lugar você é a marca, em outro a S.L. e em outro uma abreviação, você se dilui sozinho.
E sobre as repetições, concordo com o que dizia abogadostop10: para mim, mudar a pergunta deu mais informação do que repeti-la. Imobiliária em Ferrol e quero vender a casa dos meus pais em Ferrol devolvem coisas muito diferentes, e a segunda é a que as pessoas realmente escrevem.
 
Sobre quantas repetições: depende do que você quer afirmar. Se você repete uma mesma redação, as respostas se parecem muito entre si; agrega mais variar a formulação (30 perguntas diferentes × 3 repetições, por exemplo) do que repetir 10 vezes a mesma.

E para não declarar vencedores onde não há, convém sempre colocar o intervalo de confiança (nós usamos o de Wilson a 95 %): com 90 respostas, um 30 % pode ser na verdade entre 21 % e 40 %. Se dois intervalos se sobrepõem, não há diferença demonstrável.

Com só 2 repetições por pergunta, «só 8 de 222 negócios coincidem» mistura "a IA não conhece o negócio" com "a IA varia de uma vez para outra", como dizia abogadostop10.
 
Esse dado de que só 8 de 222 negócios aparecem recomendados igualmente nos três chats me diz que ainda não existe um "SEO para IA" único, e sim três critérios diferentes que precisam ser cobertos ao mesmo tempo. E o que mais me chamou a atenção no estudo é a instabilidade ao repetir a pergunta: o ChatGPT manteve em média só 17% dos negócios, contra 60% do Gemini e 64% do Perplexity. Ou seja, um negócio aparecer ou não pode depender até do momento em que se pergunta, não só de quão bom ele é.

Para um negócio local, o prático não é correr atrás de cada chatbot separadamente, e sim ter a base impecável em todos os lugares: um site próprio que explique com clareza o que o negócio faz e onde fica, fichas completas nos diretórios do setor, boas avaliações no Google e menções de terceiros, como imprensa local ou guias. Segundo o estudo, essas são as fontes de onde saem os nomes, então se algum desses pilares estiver fraco, o negócio nem sequer entra na conversa.

E uma ressalva que a última mensagem deixa e que me parece fundamental: com só duas repetições por pergunta, o 8 de 222 mistura duas coisas diferentes, a IA não conhecer o negócio e a IA variar de uma vez para outra. Por isso eu não prometeria a nenhum cliente uma posição no ChatGPT por uma única consulta: é preciso medir várias vezes, com perguntas diferentes, antes de dizer que algo funciona ou não. A visibilidade em IA ajuda, mas quem fecha a venda continua sendo o negócio que parece sério e fácil de contatar quando o encontram.
 
abogadostop10, o critério das três gavetas (nunca / sempre / instável) em vez de forçar uma porcentagem com poucas rodadas faz muito sentido, e anotar a data + contagem em vez do decimal é fácil de manter ao longo do tempo. JeffWuuu, observar qual URL cita quando SIM aparece (e não apenas se aparece) é o dado que realmente diz o que tocar: se sempre cita a sua própria página, cuida-se dessa página; se cita sempre o concorrente, o trabalho está aí. citadoporia, concordo que variar a pergunta contribui mais do que repetir dez vezes a mesma.

Entre os três sai quase um protocolo: poucas repetições, mas muitas variantes de pergunta, anotar a URL citada (não apenas se o negócio aparece), e medir com e sem localização separadamente.

Pergunta: quando a URL citada é um diretório e não o seu próprio site, vocês tentam corrigir o diretório ou preferem reforçar o seu site até que a IA prefira ele?
 
Voltar
Topo