O eBay desligou os próprios anúncios e as vendas quase não caíram

Em um experimento controlado publicado na Econometrica em 2015, o eBay desligou a própria busca paga e mediu o efeito causal: anúncios de marca não produziram efeito mensurável de curto prazo e o retorno médio dos anúncios genéricos foi negativo. O estudo mostrou que as estimativas feitas sem experimento superestimam sistematicamente o retorno da mídia.

O problema: o painel não sabe o que teria acontecido sem o anúncio

Toda empresa que investe em mídia digital olha um relatório que diz quantas vendas vieram de cada campanha. Esse número parece uma medição, mas é uma atribuição: uma regra contábil que decide qual toque leva o crédito pela venda.

A pergunta que interessa ao dono da empresa é outra: quanto dessa receita não teria acontecido se o anúncio não existisse? Isso se chama incrementalidade, e nenhum painel de plataforma responde por padrão, porque a plataforma não tem como observar o mundo em que ela não anunciou.

O que a evidência mostra

O experimento do eBay (Econometrica, 2015)

Em "Consumer Heterogeneity and Paid Search Effectiveness: A Large-Scale Field Experiment" (Econometrica, vol. 83, n. 1, 2015), os economistas Thomas Blake, Chris Nosko e Steven Tadelis, então ligados ao eBay e a universidades americanas, fizeram o que a maioria das empresas nunca fez: desligaram a mídia de propósito, de forma controlada, e mediram o efeito no negócio inteiro.

Dois blocos de resultado:

• Palavras de marca (buscas pelo termo "eBay"): ao suspender os anúncios, o tráfego migrou quase integralmente para o resultado orgânico. O efeito de curto prazo sobre as vendas foi praticamente nulo. O anúncio estava comprando um clique que a empresa receberia de graça.
• Palavras genéricas (sem o nome da marca): a mídia foi desligada em uma parte do território americano por várias semanas, com o restante servindo de controle. O retorno médio medido foi negativo.

O detalhe que explica o resultado é a heterogeneidade dos consumidores, que dá nome ao paper: os anúncios tinham efeito positivo sobre usuários novos e pouco frequentes. Só que a maior parte do orçamento era consumida por usuários frequentes, que comprariam de qualquer forma. Como o gasto se concentrava em quem já era cliente e o efeito se concentrava em quem não era, a média ficou negativa.

Os autores mostram ainda que as estimativas obtidas com os métodos usuais da indústria, sem experimento, eram muito maiores que o efeito causal real. O retorno "medido" pelo relatório era uma fração do que a plataforma reportava, invertendo inclusive o sinal da decisão.

Os experimentos do Facebook (Marketing Science, 2019)

O achado não é uma anomalia do eBay. Em "A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook" (Marketing Science, vol. 38, n. 2, 2019), Brett Gordon, Florian Zettelmeyer, Neha Bhargava e Dan Chapsky compararam 15 experimentos aleatorizados reais na plataforma, com cerca de 500 milhões de observações de usuário e 1,6 bilhão de impressões, contra os métodos observacionais que o mercado usa no dia a dia.

Conclusão: os métodos observacionais frequentemente não recuperam o efeito causal. Na maioria dos casos, superestimam a eficácia do anúncio em relação ao experimento; em alguns casos, subestimam. O erro é grande e não é previsível.

O mecanismo: por que o erro aponta quase sempre para cima

• Seleção pela intenção. A plataforma entrega o anúncio para quem tem mais probabilidade de comprar, porque é assim que ela otimiza. Depois credita a compra ao anúncio. O algoritmo é bom exatamente naquilo que corrompe a medição.
• Canibalização do orgânico. Em busca de marca, o clique pago substitui um clique gratuito. A receita aparece no relatório do anúncio e some do relatório do orgânico, sem que um real a mais entre no caixa.
• Último clique como narrativa. A venda tem muitas causas (lembrança de marca, indicação, conteúdo, preço). O modelo dá o crédito para o toque mais próximo do checkout, que costuma ser o mais barato de comprar e o menos responsável pela decisão.

O que eu vejo na prática

Nos diagnósticos de marketing que conduzo na EngajaTech, o padrão se repete: a campanha com melhor ROAS da conta é quase sempre a campanha de remarketing ou de marca, e a decisão que a empresa toma a partir disso é remanejar verba do topo para o fundo, porque "é o que converte". Alguns meses depois a operação reclama que o volume de leads novos caiu e o custo por lead subiu, sem que ninguém ligue uma coisa à outra. O painel não mentiu, ele só respondeu a uma pergunta diferente da que o dono achava estar fazendo.

Aplicação prática para uma empresa de R$ 60 mil a R$ 500 mil por mês

1. Adote uma métrica de negócio acima do painel

Antes de qualquer coisa, acompanhe semanalmente receita total, número de oportunidades reais e custo de aquisição calculado na conta simples: tudo o que foi investido em marketing dividido por clientes novos no período. Essa métrica não sabe atribuir, e é justamente por isso que ela não se engana.

2. Rode um teste de pausa (o experimento do pobre)

Escolha a campanha de maior gasto e pause por duas semanas, mantendo o resto igual. Compare receita total e volume de oportunidades com as duas semanas anteriores e com o mesmo período do ano passado. Não é um experimento aleatorizado, mas para uma PME é infinitamente melhor que confiar cegamente no relatório.

3. Trate a campanha de marca como um caso à parte

Se você anuncia no próprio nome, teste pausar por duas semanas e observe o tráfego orgânico da marca. Se ele absorve o volume e a receita não cai, você encontrou uma economia direta. A exceção conhecida é quando concorrentes anunciam sobre o seu nome, e aí o gasto é defensivo, o que também precisa ser medido.

4. Se puder, use teste geográfico

Empresas com atuação em várias cidades ou estados podem desligar mídia em algumas regiões e manter em outras de perfil parecido, comparando a receita. É a versão aplicável do desenho que o eBay usou e não exige tecnologia nenhuma, só disciplina para não mexer em mais de uma variável.

5. Separe as duas contabilidades

Use a atribuição para operar (decidir criativo, público, lance) e a incrementalidade para investir (decidir quanto colocar em cada canal). Confundir as duas é o que faz empresa cortar exatamente o que estava gerando demanda nova.

Limitações e contexto

O experimento do eBay é sobre uma marca gigantesca, com enorme notoriedade e tráfego orgânico dominante para o próprio nome. Uma empresa pequena e desconhecida está na situação oposta: para ela, boa parte do clique pago é realmente incremental, porque ninguém procuraria pelo nome dela. O achado não autoriza ninguém a concluir que busca paga não funciona, e os próprios autores mostram efeito positivo justamente sobre usuários novos.

Testes de pausa em PME também sofrem com sazonalidade, promoções e ruído: com pouco volume, duas semanas podem não ser suficientes para diferenciar efeito de acaso. E existe o efeito de longo prazo, que nenhum dos dois desenhos captura bem: desligar mídia por duas semanas mede o curto prazo, não o custo de sumir do mercado por um ano.

Conclusão

O que o eBay comprou com aquele experimento não foi uma economia pontual, foi o direito de tomar decisão sobre fato em vez de sobre relatório. Enquanto a régua do seu marketing for o número que a plataforma escolhe te mostrar, você está avaliando a mídia com a régua fabricada por quem vende a mídia.