Teste AB com segmentação: planejamento, implementação e análise

Teste AB com segmentação: planejamento, implementação e análise

Você se considera uma pessoa analítica? Hoje em dia, ser um profissional analítico vai muito além de utilizar ferramentas como Google Analytics e Excel ou saber como fazer um teste AB. A maneira que usamos essas ferramentas para entender e resolver problemas diretamente ligados ao negócio é o que realmente nos diz se somos, de fato, analíticos.

As equipes de SEO costumam se concentrar em palavras-chave e taxas de rejeição, enquanto as equipes de performance focam em impressões, custos e taxas de cliques. As equipes de conteúdo prestam atenção às métricas de sessão e às visualizações de página, enquanto a equipe de produto está de olho na velocidade e no desempenho do site.

Todos eles olham para a mesma fonte de dados para obter informações completamente diferentes, cada uma conduzindo seus próprios experimentos. Nesses casos, é essencial que você adote um ponto de vista específico para responder às perguntas relacionadas aos seus testes AB.

Neste post, vamos falar sobre três estágios de um teste AB (planejamento, implementação e análise) e destacar como a análise de dados pode dar suporte a cada um deles. Para isso, falaremos sobre:

  • Como usar dados para gerar e validar uma hipótese;
  • Como analisar experimentos para obter insights;
  • Como incentivar experimentos futuros.

O papel dos dados na concepção de um teste AB

Primeiramente, é importante definir o que é uma plataforma de análise de dados e do que ela é capaz. Para muitas pessoas, uma plataforma de análise de dados é como um cofre que contém o segredo de como gerar mais tráfego, mais receita e mais sucesso para o negócio. Na realidade, ela está mais para um brinquedo, que não faz nada demais até que você faça a pergunta certa. Se você vagar sem rumo pelos dados em busca de informações, você provavelmente não vai encontrar muita coisa útil.

Em vez disso, dê um passo atrás e considere os problemas que você está tentando resolver. Pode ser um palpite ou uma série de perguntas ou ideias sobre seu site, produto ou cliente. Com essas perguntas em mãos, use sua plataforma de análise de dados para confirmar ou invalidar seu palpite. Se os dados te confirmarem essa hipótese, isso pode ser um bom indício de que ali existe uma oportunidade de otimização que merece um teste AB.

Mas calma, fazer as perguntas certas e gerar hipóteses de testes AB te parece algo difícil? Você não está sozinho. Esse é o principal motivo pelo qual o Google lançou a seção de Insights do Google Analytics: para tentar alavancar os insights reais que fluem dos dados. Embora ainda sejam um pouco rudimentares, essas idéias, orientadas por inteligência artificial, são um passo na direção certa. Algumas dicas para fazer as perguntas certas são:

  • Colocar-se no lugar dos seus usuários;
  • Acompanhar os eventos do seu site ou produto;
  • Segmentar sua base de usuários.

Coloque-se no lugar dos seus usuários

Uma das melhores maneiras de identificar uma boa ideia de teste AB é colocar-se no lugar dos usuários. Navegue pelo seu site ou aplicativo como se você fosse um novo usuário e procure pontos de atrito ou oportunidade.

Se você trabalha em um e-commerce, pode descobrir que os custos de envio para determinadas regiões estão muito elevados ou que o tempo de entrega sequer é exibido até que o usuário tente finalizar a compra. Esse pode ser um potencial ponto de frustração para os usuários. Com essa hipótese, você tem um bom conjunto de perguntas para fazer na sua plataforma de análise de dados.

Acompanhe eventos relevantes

Se você trabalha há mais tempo com otimização, essa sugestão pode até parecer boba, mas por aqui a gente continua se surpreendendo com a quantidade de empresas que ainda não aproveita as informações originadas de eventos. Se você estiver criando um teste AB novo ou implementando alguma feature nova, reserve um tempo para mapear as ações e os eventos importantes que um usuário pode gerar.

Crie uma estrutura para organizar e enviar esses eventos usando o Gerenciador de Tags do Google (GTM) para facilitar a execução. O engajamento com a o cabeçalho ou rodapé, os cliques nos CTAs, a profundidade da rolagem, a reprodução de vídeos, entre tantas outras, são ações valiosas que podem ajudá-lo a descobrir informações importantes com base no comportamentos do usuário.

Mas fique atento e não confunda isso com mapas de calor. Os mapas de calor mostram em que áreas do site os usuários clicam, mas não permitem segmentá-los com base nessas ações para fazer qualquer tipo de análise.

Imagine que você tem uma página de produto com um vídeo e um mapa de calor mostra que muitos de seus usuários estão clicando nesse vídeo. A princípio, o próximo passo lógico seria colocar mais vídeos no seu site, certo? Não necessariamente. Ao formular essa hipótese, você teria partido de um princípio que pode não se comprovar: as visualizações de vídeo estão relacionadas à conversão.

Para confirmar essa hipótese, você deve analisar os dados dos usuários que clicam no vídeo com os que não clicam para conferir se a conversão desses dois grupos é realmente diferente. Você pode descobrir, por exemplo, que aqueles que não assistem ao vídeo têm mais chances de converter. Essa é uma boa oportunidade para mais um teste AB.

Segmente sua base de usuários

Todo profissional de marketing usa segmentação no dia a dia e sabe que esse conceito vai muito além da segmentação demográfica. Segmentos de usuários podem originar de novos insights completamente não explorados, principalmente os customizados, por fornecer maior granularidade. Uma das maneiras mais valiosas de usar segmentos é entender melhor os usuários que navegam pelo seu site ou produto.

As plataformas de análise de dados geralmente relatam de forma intercambiável o número de sessões, de visualizações de página, de usuários, etc, em relatórios padrões. Muitas ferramentas de teste, no entanto, operam no nível de usuários únicos. A criação de segmentos com base nos usuários permitirá estimar com mais precisão informações como tamanho do público-alvo, taxa de conversão e duração do teste AB.

A implementação de um teste AB

Usar análise de dados para identificar uma ideia de teste AB é apenas metade do caminho. Saber o que rastrear e como medir o desempenho de um experimento é fundamental. Para avaliar o sucesso e obter insights e aprendizado ao longo do caminho, você precisa garantir que está acompanhando as métricas corretas.

Há muitas informações espalhadas por aí sobre esse assunto, então vamos listar apenas algumas das práticas mais recomendadas. De modo geral, mantenha sempre em mente que seus testes AB são tão bons quanto as métricas que você correlaciona a eles.

Defina suas métricas antecipadamente

Em um teste AB, você provavelmente acompanha de uma a duas métricas (as primárias e as secundárias).

As métricas primárias devem ser consistentes em muitas, senão em todas, os seus experimentos. Se você trabalha em um e-commerce, muito provavelmente sua métrica será receita por usuário ou taxa de conversão de venda. Se o principal objetivo é a geração de leads, pode ser número de leads ou taxa de conversão de lead. Em um SaaS, ela pode ser, por exemplo, as avaliações de usuários ou a taxa de NPS. Sua métrica principal deve sempre estar intimamente ligada aos resultados do seu negócio.

As métricas secundárias geralmente são mais específicas do experimento e mudam de acordo com o que você está testando. Você pode utilizar algumas métricas relacionadas à determinadas etapas do seu funil ou acompanhar métricas de engajamento, como cliques em um CTA ou visitas a uma página específica. As métricas secundárias são utilizadas como uma verificação da sua métrica principal e uma oportunidade de aprendizado.

Acompanhe mais métricas secundárias

Sua métrica principal é o seu guia para a tomada de decisões, mas ela não te ajuda a contar toda a história por trás de um teste AB. Normalmente, utilizamos as métricas secundárias para ajudar a explicar por que a métrica principal aumentou ou diminuiu.

Isso é especialmente importante quando um teste AB tem um impacto negativo em sua métrica principal. Nesse caso, ter métricas de suporte que te ajudem a contar a história facilita o entendimento do que de fato aconteceu, uma vez que elas mostram uma imagem mais clara do motivo pelo qual os usuários se comportam de determinada maneira.

Integre sua ferramenta de teste AB à sua ferramenta de análise de dados

Por mais que tenhamos falado aqui sobre garantir que as métricas sejam definidas antecipadamente, a realidade é que nem sempre as nossas hipóteses estão corretas. Muitas vezes, nossas suposições sobre como os usuários irão interagir com um teste AB são muito diferentes da realidade. Podemos, por exemplo, esperar que a taxa de conversão mude, mas ela pode permanecer estável enquanto o ticket médio aumenta consideravelmente. Se você não antecipou possíveis impactos no ticket médio, pode não perceber que seu teste AB, na verdade, trouxe resultados positivos.

É por isso que integrar sua plataforma de análise de dados é muito importante. Seguindo a linha do que mencionamos acima sobre acompanhar os eventos que os usuários geram, nesse caso ainda seria possível identificar esse aumento analisando os eventos de confirmação de pedido.

A análise de um teste AB

Chegamos à etapa mais legal, a análise de resultados de um teste AB. Tão importante quanto a maneira que você estrutura um teste é a maneira que você analisa o resultado gerado por ele.

Determinando o sucesso de um experimento

Obviamente, você precisa determinar se as variações do seu teste AB tiveram um desempenho melhor (ou pior) que o do grupo de controle. Como você faz isso depende muito do sistema que você utiliza e das métricas que você definiu antes de iniciar o teste.

No mundo ideal, é muito simples comparar uma com a outra para identificar qual delas teve resultado mais positivo. Entretanto, no mundo real pode ser difícil obter um impacto mensurável e concreto em sua métrica principal.

Não é incomum se deparar com uma situação em que a métrica principal se mantém estável e as métricas secundárias apresentam alguma variação. Imagine, por exemplo, que você trabalha em um e-commerce e acabou de realizar uma experiência na página inicial, apresentando uma nova seção de produtos em destaque. Você descobre que a taxa de conversão não mudou mas que o engajamento com os produtos em destaque é alto e que tráfego para as páginas de produto também aumentou.

Nesse exemplo, você conseguiu introduzir uma nova área promocional na página inicial, que não prejudica a taxa de conversão, e criou uma oportunidade para apresentar produtos que podem ser de alto valor para o negócio por outros motivos. Você também tem um novo veículo promocional para experimentar. Talvez outras iterações dessa área aumentem as taxas de conversão com os produtos ou mensagens em destaque.

Estimando o impacto a médio prazo

Projetar o impacto de seus testes AB é essencial para obter e manter a adesão das partes interessadas, provar o valor dos seus testes e garantir que suas iniciativas continuem recebendo o orçamento que merecem.

Você provavelmente é responsável por determinados KPIs e precisa mostrar que seus testes AB estão afetando esses KPIs e os resultados do negócio como um todo. O objetivo de projetar o impacto de seus experimentos é provar o retorno do investimento (ROI) de suas iniciativas, além de demonstrar valor e impacto a longo prazo.

A abordagem comum a essas projeções é usar o aumento observado de seu teste para mostrar quanto de receita adicional ou quantas vendas ou leads adicionais você poderia ter caso a variação fosse implementada e se tornasse o novo padrão.

Vamos explorar um exemplo simples para esclarecer esse conceito. Digamos que você faça um experimento com uma variação e um grupo de controle por 4 semanas. Sua variação resulta em um aumento de 5% na taxa de conversão com 95% de confiança. Impressionante, não? Mas agora você precisa mostrar o que esse aumento de 5% significa para os negócios de uma maneira mais concreta.

Vamos supor que nessas 4 semanas você recebeu 200.000 visitas no total: 100.000 no grupo de controle e 100.000 na variação, com 2.000 vendas no grupo de controle e 2.100 vendas na variação (seu aumento de 5%). Você pode usar duas abordagens para projetar o impacto desse experimento:

  • Usar os dados do teste isoladamente; ou
  • Usar os dados do teste combinados com dados históricos.

No primeiro método, você baseia sua projeção apenas nos dados observados durante o teste AB, sem considerar nenhuma sazonalidade a longo prazo ou fatores externos em potencial fora da duração do experimento. Usando esse método, você projetaria o volume de tráfego observado durante seu experimento ao longo de 52 semanas:

200.000 visitas  / 4 semanas * 52 semanas = 2.600.000 visitas

Em seguida, você aplicaria as diferentes taxas de conversão:

Grupo de controle: 2.600.000 visitas * 2% = 52.000 vendas
Variação: 2.600.000 visitas * 2,1% = 54.600 vendas

Essas 2.600 vendas a adicionais são a estimativa de aumento para um ano caso a variação fosse implementada no site. Considerando um ticket médio de R$ 100, por exemplo, estaríamos falando de uma receita adicional de R$ 260.000 em um ano resultantes de um único teste AB.

No segundo caso, para incluir a sazonalidade decorrente de diferentes campanhas e outros fatores externos, podemos pegar a receita anual e aplicar o acréscimo de 5%, já que um aumento na taxa de conversão acarretaria no aumento proporcional da receita. Supondo que a receita anual do site é de R$6.000.000, por exemplo, a receita adicional seria de R$ 300.000 em um ano.

Nesse caso, não existe certo e errado, por isso é muito importante rotulá-los como projeções e estimativas. Eles ajudarão a mostrar um resultado mais tangível do seu trabalho em números que podem atrair clientes.

Descobrindo novos insights

No final do dia, descobrir novas idéias é o que importa. Obviamente, o objetivo principal dos testes AB é encontrar caminhos para melhorar a receita e elevar as taxas de conversão, mas os insights são a chave para o verdadeiro sucesso a longo prazo.

“Os negócios orientados por dados trazem insights em todas as decisões, e eles sabem exatamente como usá-los para obter maior vantagem em todo o ciclo de vida do cliente. Para essas empresas, as ideias digitais e o que elas fazem com elas são suas armas secretas para atrapalhar seu mercado e roubar seus clientes.”

(Brian Hopkins, Ted Schadler e James McCormick, autores do relatório da Forrester, The Insights-Driven Business)

As táticas e sugestões descritas acima te ajudarão a estabelecer uma base para começar a descobrir essas informações, mas é importante lembrar que suas ferramentas não fazem isso por você. Você só descobrirá as principais informações ao fazer as perguntas certas e coletar os dados certos para responder a essas perguntas.

Quer saber mais sobre as melhores práticas de teste AB? Inscreva-se na nossa newsletter e fique de olho nos novos posts que vem por ai! Ou então, quer enviar sua dúvida? Envie um e-mail pra gente! (:

Data, Analytics & Otimização

Graduada em Engenharia Mecânica, se apaixonou por tecnologia e marketing à primeira vista. Como CMO, mostrou por A mais B o potencial da personalização e dos números aplicados ao marketing. Nos últimos anos, vêm se dedicando a novas tecnologias, programação e análise de dados voltado ao desenvolvimento da Croct.