Dois em cada três testes A/B não melhoram nada, e o seu "vencedor" pode ser ruído

Os dados de experimentação em larga escala publicados por Ronny Kohavi mostram que apenas cerca de um terço das ideias testadas melhora a métrica que pretendia melhorar. Combinado com amostras pequenas e o hábito de encerrar testes ao primeiro sinal de vitória, isso significa que a maioria dos "vencedores" declarados em PMEs é ruído estatístico.

O problema: o teste que confirma o que a gente queria

Teste A/B virou sinônimo de rigor. Agência apresenta "testamos duas versões e a B ganhou", o cliente aprova a mudança e ninguém pergunta quantas conversões havia de cada lado, por quanto tempo o teste rodou nem como foi decidido o momento de parar.

O resultado é uma cultura que produz "aprendizados" toda semana e não acumula conhecimento nenhum, porque a maior parte desses aprendizados não sobreviveria a uma repetição do mesmo teste.

O que a evidência mostra

A maioria das ideias não funciona

Ronny Kohavi, que liderou a plataforma de experimentação da Microsoft (incluindo o Bing) e depois trabalhou em experimentação no Airbnb, publicou com colegas em 2009 o artigo "Online Experimentation at Microsoft". A conclusão mais citada: apenas cerca de um terço das ideias testadas melhorou a métrica que pretendia melhorar; cerca de um terço não teve efeito detectável e cerca de um terço piorou o resultado. Em produtos mais maduros, como o buscador, a taxa de sucesso relatada foi ainda menor.

Em 2017, Kohavi e Stefan Thomke levaram essa discussão à Harvard Business Review em "The Surprising Power of Online Experiments". O artigo traz um caso documentado: uma mudança pequena na forma de exibir títulos de anúncios no Bing, considerada de baixa prioridade pela equipe, gerou um aumento de 12% na receita quando finalmente foi testada, o equivalente a mais de US$ 100 milhões anuais na época. A lição dos autores é dupla: ninguém sabe de antemão o que funciona, e a intuição de especialistas erra com frequência nos dois sentidos.

O problema do tamanho da amostra

Detectar uma diferença real exige um número mínimo de observações, que depende da taxa de conversão de base e do tamanho do efeito que se quer detectar. Uma aproximação usual para 95% de confiança e 80% de poder estatístico é: número de visitantes por versão ≈ 16 × p × (1 − p) ÷ d², onde p é a conversão de base e d é a diferença absoluta que se quer detectar.

Para uma página com 2% de conversão, detectar uma melhora relativa de 10% (de 2,0% para 2,2%, ou seja, d = 0,002) exige aproximadamente 78 mil visitantes por versão. Com 150 visitas por dia, são cerca de três anos de teste. Para detectar uma melhora de 50% (de 2% para 3%), a conta cai para cerca de 3 mil por versão: ainda mais de um mês, mas viável.

O problema de espiar

Em 2010, Evan Miller publicou "How Not To Run an A/B Test", demonstrando o efeito de checar a significância repetidamente e parar o teste assim que ela aparece. Como a estatística clássica pressupõe que o tamanho da amostra foi fixado antes, cada olhada intermediária é uma nova chance de um falso positivo. Um teste sem diferença real, monitorado diariamente e interrompido no primeiro "significativo", declara um vencedor falso com frequência muito maior que os 5% prometidos pelo nível de confiança.

Kohavi, Diane Tang e Ya Xu sistematizaram esses e outros erros no livro "Trustworthy Online Controlled Experiments" (2020), que virou referência da área.

O mecanismo: por que o ruído parece resultado

• Variância com poucas conversões é enorme. Onze conversões contra oito é uma diferença compatível com acaso puro. O cérebro humano vê padrão onde há ruído, e o painel da ferramenta reforça isso mostrando "B: +37%".
• Quem espia, encontra. Uma série aleatória cruza qualquer limiar em algum momento se for observada tempo suficiente. Parar nesse momento é selecionar o ruído favorável.
• Incentivo para declarar vencedor. Agência precisa mostrar trabalho, gestor precisa mostrar aprendizado, ferramenta precisa mostrar valor. Ninguém é recompensado por dizer "não deu para saber".
• A maioria das ideias é fraca. Se dois terços das ideias de equipes experientes não melhoram nada, a expectativa de que cada teste produza um vencedor já está errada de partida.

O que eu vejo na prática

Em diagnóstico, o padrão é o relatório de otimização com meia dúzia de testes por mês, todos com "vencedor", nenhum com número de conversões por variante, e uma taxa de conversão da página que não mudou em um ano. Quando somamos os ganhos declarados nos relatórios, a página deveria estar convertendo o dobro. Não está. Os testes não estavam medindo nada, estavam gerando pauta de reunião.

Aplicação prática para uma empresa de R$ 60 mil a R$ 500 mil por mês

1. Calcule a amostra antes de começar

Use qualquer calculadora de tamanho de amostra para teste A/B (a de Evan Miller é gratuita). Informe a conversão atual e a menor melhora que valeria a pena detectar. Se o número de visitantes necessário for maior que o tráfego de dois meses, o teste não deve ser feito nesse formato.

2. Teste mudanças grandes

Com pouco tráfego, só efeitos grandes são detectáveis. Isso significa testar oferta, promessa principal, público, formato da página, presença ou ausência de preço. Cor de botão e posição de imagem raramente produzem efeito visível em amostras de PME.

3. Fixe a regra de parada e não olhe antes

Defina o número de conversões total (por exemplo, 200) ou a data de encerramento. Só analise o resultado ao atingir esse ponto. Se a ferramenta mostra um painel em tempo real, combine com a equipe que ele não é critério de decisão.

4. Exija a tabela, não a porcentagem

Todo resultado de teste apresentado à direção deve vir com visitantes e conversões por variante, duração e regra de parada usada. "B converteu 30% mais" sem essa tabela não é informação.

5. Considere alternativas ao A/B clássico

Quando o tráfego não permite, teste em sequência com períodos comparáveis (mesmo dia da semana, mesma verba), use testes de campanha com orçamento dividido nas plataformas de mídia (que costumam ter mais volume que a LP) ou simplesmente adote a mudança com base em evidência externa quando ela for forte, sem fingir que houve teste.

6. Registre tudo

Mantenha um log com hipótese, data, amostra, resultado e decisão. É esse registro que evita testar a mesma coisa três vezes e que permite, com o tempo, perceber quais tipos de mudança de fato produzem efeito no seu negócio.

Limitações e contexto

Os números de Kohavi vêm de produtos digitais de altíssima escala, onde a maior parte das ideias testadas é incremental. Em uma PME com página nunca otimizada, a proporção de ideias que funcionam pode ser maior, justamente porque há problemas óbvios a corrigir. A regra de "um terço" é um alerta contra o otimismo, não uma lei universal.

A fórmula de amostra apresentada é uma aproximação para comparações de proporção e ignora efeitos como sazonalidade, tráfego de fontes diferentes em cada versão e novidade (a versão nova às vezes converte melhor nas primeiras semanas só por ser nova). Métodos sequenciais e bayesianos permitem monitoramento contínuo com controle de erro, mas exigem ferramenta e conhecimento adequados; a maioria dos painéis de ferramentas populares não implementa isso corretamente.

Conclusão

Teste A/B é um instrumento excelente que a maioria das empresas do nosso porte usa como ritual. Sem amostra suficiente, sem regra de parada e sem tabela de resultados, ele produz vencedores falsos com regularidade e uma sensação de rigor que atrapalha mais do que ajuda. Menos testes, maiores, com regra definida antes: é assim que se aprende alguma coisa com tráfego de PME.