Nem com 25 experimentos e milhões de clientes deu para medir o retorno exato do anúncio. Seu dashboard também não mede

Randall Lewis e Justin Rao analisaram 25 grandes experimentos controlados de publicidade digital e mostraram que, mesmo com milhões de pessoas por teste, o intervalo de confiança mediano do retorno sobre investimento passava de 100 pontos percentuais. A razão é que a variação natural das compras é enorme perto do efeito de um anúncio. Para uma empresa média, a implicação é tratar ROAS de plataforma como indicador de direção, não como medida precisa de lucro.

O problema: confiança demais num número frágil

Muitas decisões de verba hoje são tomadas olhando o ROAS informado pela plataforma de anúncios. Campanha com ROAS 5 ganha mais dinheiro, campanha com ROAS 2 é pausada. O número aparece com uma ou duas casas decimais, atualizado todo dia, e passa a sensação de que o retorno de cada real está sendo medido com exatidão.

A pergunta que quase ninguém faz é: se as mesmas pessoas teriam comprado sem ver o anúncio, quanto desse ROAS é efeito real?

O que a evidência mostra

Lewis e Rao, 2015: 25 experimentos, pouca certeza

Randall Lewis e Justin Rao, economistas que trabalhavam com dados de grandes plataformas de anúncio, reuniram 25 grandes experimentos de campo de publicidade digital feitos com varejistas e corretoras dos Estados Unidos. A maioria alcançou milhões de pessoas, e o conjunto representava cerca de US$ 2,8 milhões em mídia. Em todos, um grupo sorteado via os anúncios e outro não, o que permite medir o efeito causal.

O resultado central: na mediana, o intervalo de confiança do ROI tinha mais de 100 pontos percentuais de largura. Um teste podia ser compatível, ao mesmo tempo, com prejuízo e com um retorno muito alto. Os autores mostram que as compras individuais são muito voláteis em relação ao custo do anúncio por pessoa, e que um experimento conclusivo pode exigir mais de 10 milhões de pessoas-semana. O artigo saiu no Quarterly Journal of Economics, uma das revistas de economia mais respeitadas do mundo.

O alerta sobre os métodos observacionais

Lewis e Rao também apontam que, como a publicidade digital é segmentada, quem vê o anúncio já é diferente de quem não vê. Esse viés de seleção, segundo eles, é um problema grave para os métodos observacionais amplamente usados, aqueles que comparam quem foi exposto com quem não foi sem sorteio. É exatamente o que um dashboard de atribuição faz.

O mesmo padrão em outros estudos

Em 2019, Brett Gordon, Florian Zettelmeyer e colegas compararam, no Marketing Science, 15 grandes experimentos de anúncios no Facebook com os métodos observacionais que tentam estimar o mesmo efeito sem sorteio. Os métodos observacionais frequentemente erraram o tamanho do efeito, muitas vezes superestimando. O experimento do eBay, publicado por Blake, Nosko e Tadelis em 2015, já tinha mostrado algo parecido em busca paga de marca.

O mecanismo

• Ruído grande, sinal pequeno. Numa base de clientes, alguns compram muito e a maioria compra pouco ou nada. O efeito médio de um anúncio por pessoa é pequeno perto dessa variação, e isso exige amostras enormes para medir.
• O anúncio vai para quem já ia comprar. Segmentação e otimização mostram o anúncio para quem tem maior chance de conversão. Essas pessoas compram mais, com ou sem anúncio, e a atribuição credita a compra ao anúncio.
• Casas decimais dão falsa precisão. Um ROAS de 4,73 parece um número medido. Na prática, é uma divisão entre receita atribuída por regra e custo de mídia.

Aplicação prática para uma empresa de R$ 60 mil a R$ 500 mil por mês

1. Use o ROAS de plataforma para comparar, não para concluir

Ele ajuda a ver qual campanha está pior que outra dentro do mesmo canal. Não serve para dizer quanto lucro o marketing gerou.

2. Olhe o total do negócio

Faturamento total, novos clientes por mês e custo total de marketing. Se a soma dos ROAS das plataformas indica um resultado que não aparece no faturamento, alguma coisa está sendo contada duas vezes ou atribuída a quem não merece.

3. Faça testes grosseiros, mas honestos

Para quem não tem milhões de clientes, o teste possível é pausar um canal ou uma região por algumas semanas e observar o total, sabendo que o resultado vai ser aproximado. Um teste imperfeito com grupo de comparação ainda informa mais do que nenhum.

4. Decida com margem de erro na cabeça

Se duas campanhas têm ROAS 3,8 e 4,1, trate como empate. Se uma tem 1,5 e outra 6, provavelmente existe diferença real. Mudar verba por variações pequenas é responder ao ruído.

Limitações e contexto

Os experimentos analisados por Lewis e Rao são de publicidade gráfica online de grandes varejistas e corretoras americanas, feitos há mais de uma década. Anúncios de busca para quem procura o serviço, campanhas para públicos muito específicos ou negócios com ticket alto e poucas vendas podem ter relações diferentes entre sinal e ruído.

O estudo também não diz que publicidade não funciona. Em vários experimentos, o efeito estimado era positivo; o problema é que a precisão era baixa. A conclusão correta é sobre o quanto é difícil medir, e não sobre o quanto o anúncio rende.

Conclusão

Se pesquisadores com experimentos controlados e milhões de pessoas não conseguiram medir o retorno de cada campanha com precisão, o ROAS do dashboard, sem grupo de comparação, merece bem menos confiança do que recebe. Ele continua útil como sinal de direção. Decisão de verba bem tomada olha o total do negócio, aceita margem de erro e testa com grupo de comparação sempre que dá.