Introdução

Uma das maiores dificuldades na mensuração de ações de marketing é determinar o resultado incremental e causal de suas campanhas. Ou seja, como garantir que os resultados observados sejam, de fato, consequência direta das estratégias implementadas?

A realização de testes randômicos é, em teoria, o caminho ideal para obter respostas precisas. No entando, devido a desafios logísticos e altos custos, os quase-experimentos (ou quasi-experiments) surgem como uma alternativa viável mesmo considerando seu maior risco de bias. Isto se dá porque estes testes, ao mesmo tempo, permitem uma abordagem simplificada à nível de aplicabilidade do experimento, e mantêm as vantagens relativas a experimentos de causalidade, como a comparação de grupos teste e controle sobre períodos pré e pós aplicação do efeito avaliado. Os quasi-experiments portanto, são técnicas que buscam aliar uma aplicabilidade factível com resultados estatisticamente mais confiáveis.

Um dos métodos mais populares de quasi-experiment é o Geolift - uma técnica que separa grupos teste e controle com base em geolocalizações, por exemplo, cidades ou estados. Essa técnica permite avaliar o impacto de ações de marketing em áreas específicas, comparando o desempenho entre o entre o grupo exposto à ação e o grupo não exposto..

Neste artigo, vamos explorar como desenvolvemos uma ferramenta de Geolift end-to-end para uma das maiores instituições financeiras da América Latina, detalhando os desafios enfrentados, as soluções adotadas e os resultados obtidos.

Contexto e Desafios

O projeto foi desenvolvido para atender a uma área estratégica de uma das maiores instituições financeiras da América Latina — o time responsável pelos Ads internos do aplicativo. Esses anúncios eram destinados exclusivamente  aos produtos do cliente, com diversas regras estabelecidas para priorizar determinados produtos em diferentes espaços de anúncio dentro do app.

Problema Inicial

‍O principal problema era que o impacto incremental dessas campanhas internas não era conhecido. Ou seja, não havia uma base empírica para justificar as regras de priorização ou para medir o verdadeiro efeito das campanhas nas contratações de produtos.

Desafios identificados:

• Ausência de uma metodologia clara para mensurar o impacto incremental das campanhas internas;
• Dificuldade em validar se as regras de priorização de produtos estavam otimizadas;
• Falta de um sistema automatizado que permitisse testar e ajustar continuamente as campanhas.

Proposta de Solução

Para resolver esses desafios, desenvolvemos uma ferramenta end-to-end de Geolift capaz de:

• Criar designs de experimentos para diferentes produtos, realizando os testes estatísticos necessários.
• Executar automaticamente o experimento com base o no design criado, desativando os Ads do produto alvo do experimento nas geolocalizações definidas.
• Avaliar os resultados do experimento, trazendo o resultado incremental das campanhas testadas e o seu ROAS (Retorno Sobre o Investimento em Anúncios).

O objetivo era permitir que o cliente tivesse uma visão clara do valor gerado por suas campanhas, possibilitando ajustes rápidos e decisões baseadas em dados.

Desafios Técnicos na Implementação de Geolift

Apesar de o Geolift já ser utilizado em algumas soluções open source, implementar uma ferramenta end-to-end para uma empresa de grande porte apresentou desafios únicos. A seguir, destacamos os principais obstáculos enfrentados:

1 - Localização dos Clientes

A base de input do geolift exige informações de data, local e número de contratações por cliente, mas não havia dados diretos sobre a localização geográfica. Para resolver isso, combinamos informações de três fontes diferentes:

1. Google Analytics - que traz a informação de geolocalização para cada acesso ao app de cada cliente
2. Google Ad Manager - que traz a informação de geolocalização para cada requisição de anúncio.
3. Banco Central + Tabela de Correntistas: cruzamento entre a tabela de correntistas, que possui informação de agências para cada ID de usuário, com tabelas de endereço de cada agência bancária no Brasil. Vale dizer aqui que o acesso a tabela de correntistas era restrito, trabalhado apenas no ambiente de cloud do banco e sem nenhuma informação que permitisse a identificação do correntista.

Resultado: A localização foi determinada com mais de 95% de precisão, validada com dados do Censo do IBGE.

2 - Dinâmicas de Deslocamento entre Cidades

Em algumas regiões, há uma dinâmica de deslocamentos pendulares relativos normalmente a estudo e trabalho. Para estes grupos de cidades, apesar de suas fronteiras objetivamente estabelecidas, há uma dinâmica social única que atravessa seus territórios.

Sabendo disso, considerarmos parte deste território como grupo teste e outra parte como grupo controle poderia colocar um experimento em risco, visto que um grupo muito grande de pessoas se deslocaria entre ambos os territórios. Para resolver esse problema, adotamos o conceito de Arranjos Populacionais do IBGE, que agrupa cidades baseando-se na ideia de que alguns grupos de cidade apresentam um comportamento cotidiano de troca de populações impulsionadas pelo trabalho e estudo.
Resultado: A criação de grupos de cidades coesos reduziu o risco de contaminação entre os grupos de teste e controle.

‍3 - Quantidade Alta de Cidades na Realidade Brasileira

Mesmo aplicando o conceito de arranjos populacionais, nós ainda tínhamos um número muito grande de geolocalizações para separar em grupos teste e controle. 

A documentação da biblioteca Geolift da Meta, por exemplo, diz que 500 seria um número limite para criação de um design de teste, sendo que o Brasil tem mais de 5 mil cidades.

Para resolver esse problema utilizamos modelos de clusterização para criar agrupamentos de cidades baseados em suas semelhanças. Para o modelo utilizamos informações de população, PIB e número de contratações.

Criamos um processo automatizado que testa diferentes métodos de clusterização, selecionando o modelo com melhor desempenho com base em uma análise de cotovelo (Elbow Analysis).

Resultado: Conseguimos reduzir o número de grupos de teste sem comprometer a precisão dos resultados.

‍Solução Técnica Desenvolvida

Para garantir uma implementação eficiente e escalável, criamos uma única classe em python que cuida de todas as etapas da aplicação do teste. No backstage, criamos um pipeline automatizado que gera a tabela de input. Esta tabela possui para cada data, cidade e produto a quantidade de contratações. A lib em python se comunica com o AWS S3, onde ela faz o armazenamento dos design de testes gerados, separando-os em stand by, running e finished. Além disso, a lib possui uma integração com a API do Google Ads, o que permite uma aplicação automatizada dos testes, sem exigir esforços dos times responsáveis pela operação dos Ads internos.

Resultados da POC (Prova de Conceito)

Para validar a ferramenta criada, realizamos uma POC com um produto específico. 

Visto que a ideia principal era compreender o impacto das campanhas que já existiam no montante total de contratações, o efeito que testamos sobre nosso grupo teste foi o do desligamento das campanhas deste produto. O experimento foi realizado por 15 dias úteis em 135 cidades, que representavam juntas um share de 15% das contratações.

O resultado passou nos testes estatísticos, permitindo afirmar que as campanhas internas do produto estudado tinham efeito sobre o montante total de compras.

Os resultados obtidos foram extremamente interessantes. Em primeiro lugar, descobrimos que 3% do total das vendas do produto ocorrem graças aos anúncios internos dele.

A princípio pode parecer pouco, mas nós estamos falando de campanhas que possuem um valor ínfimo por impressão, visto que são espaços de anúncio do próprio ambiente do cliente. Este fator, aliado ao fato de que estávamos tratando de um produto bastante lucrativo do cliente, ocasionou em um ROAS extremamente elevado. 

Para além do resultado da POC, o diferencial da ferramenta entregue é a facilidade com que novos testes possam ser realizados, dando autonomia para que nosso cliente crie um conhecimento mais profundo e real do valor gerado por suas campanhas internas.

Além disso, a ferramenta cria um ambiente novo, onde uma cultura de testes se torna factível. Em resumo, a ferramenta que entregamos cria  insumos suficientes para decisões sejam tomadas mais baseadas em dados, permitindo assim que os espaços de anúncios internos do cliente possam ser utilizados da maneira que gere o maior retorno possível.

Conclusão

A presença de ferramentas prontas ou semi-prontas de mercado facilitam muito a aplicação de uma análise de geolift.

Porém, quando falamos da criação de uma ferramenta end-to-end, criam-se algumas complexidades como: 

• um trabalho prévio com os dados que, a depender da maturidade do cliente, pode ser mais ou menos complexo. 
• necessidade de encontrarmos soluções para o contexto geográfico brasileiro, principalmente se o cliente tem uma atuação nacional. 
• integrações com APIs de ferramentas de mídia para operação dos testes 
• integrações com Cloud, onde a ferramenta ficará hospedada e onde ela fará o storage dos designs de testes e dos resultados 

Apesar destas complexidades, uma ferramenta end-to-end com esta abre espaço para implementação de uma cultura de testes, permitindo assim que a empresa tenha uma constância de experimentos que comprovem (ou reprovem) o valor de suas ações de marketing.

Com isso, tem-se mais segurança sobre o efeito dos investimentos de mídia realizados, possibilitando que soluções cada vez mais eficazes sejam aplicadas, e soluções ineficazes sejam descartadas.

Transforme Seus Resultados com Geolift

Se a sua empresa busca mensurar com precisão o impacto das ações de marketing e implementar uma cultura de testes eficiente, a DP6 pode ajudar! Nossa expertise em modelagem estatística, integração de dados e automação de experimentos garante que você tenha insights confiáveis para decisões estratégicas. Fale com a DP6 e descubra como podemos maximizar seus resultados com soluções personalizadas!