Como fazer testes com personalização
No post anterior fizemos um overview sobre testes AB, repassando todos os detalhes que envolvem as 3 etapas de um experimento: o planejamento, a implementação e a análise. Esse assunto já não é novidade para quem trabalha com marketing digital. Ao longo dos anos, saber como fazer testes AB passou a ser essencial para qualquer profissional dessa área. Entretanto, nos últimos meses temos ouvido muito uma pergunta de nossos clientes: como fazer testes com personalização?
Em um primeiro momento, é normal que as pessoas confundam um pouco as práticas de teste AB e multivariável com personalização, mas na prática eles são um pouco diferente. Por isso, vamos fazer um paralelo entre testes AB e testes com personalização.
Como segmentar a audiência
Testes comuns
Antes de mais nada, vale relembrar rapidamente como a segmentação da audiência é feita em um teste AB comum. Quando criamos um experimento, definimos qual parcela da audiência verá o site como ele é atualmente, sem nenhuma modificação: o famoso grupo de controle. Em seguida, dividimos igualmente a parcela restante entre as variações que queremos testar.
A atribuição de um usuário a um segmento deve ser sempre aleatória e deve garantir que, uma vez sorteado, ele sempre caia no mesmo segmento nas visitas seguintes (para garantir uma experiência consistente).
Testes com personalização
Quando introduzimos a personalização, a principal mudança está no começo do fluxo de segmentação. Vamos supor que temos duas personalizações ativas no site, uma para quem está navegando na região Sul e outra para quem está na região Nordeste. Nesse caso, já temos 3 segmentos da audiência geral do site:
Agora, vamos imaginar que queremos fazer um teste AB relacionado ao conteúdo personalizado que será exibido para cada um desses segmentos. Queremos descobrir se (1) a personalização traz algum benefício e (2) se sim, qual é o conteúdo mais apropriado.
Para cada um dos segmentos, vamos criar um grupo de controle, que não verá nenhuma personalização, e duas variações personalizadas. O resultado da nossa segmentação, então, fica da seguinte maneira:
Note que, diferentemente do teste comum, a primeira segmentação não é aleatória e é sempre previsível, já que a localização do usuário é sempre resolvida da mesma maneira. A partir desse ponto, a segunda segmentação segue a mesma regra de um teste comum (aleatória com garantia de consistência em visitas futuras).
Como analisar os testes com personalização
A personalização já se provou uma forte aliada na construção de experiências únicas com alto ROI. Um estudo da McKinsey, por exemplo, mostrou que a personalização pode reduzir o CAC em até 50%, aumentar a receita de 5% a 15% e melhorar a eficiência de marketing de 10% a 30%. Contudo, o objetivo é sempre medir quanto, de fato, a personalização traz de resultado para o seu negócio.
Antes de falar sobre a análise de testes com personalização, vamos relembrar o objetivo de tais testes. Basicamente, o que queremos descobrir é qual conteúdo personalizado é o mais indicado para uma determinada segmentação. Isso quer dizer que não faria sentido compararmos métricas do segmento S1 com N1, por exemplo.
Tendo em mente nosso objetivo, o que devemos analisar aqui é a métrica entre os subsegmentos da região Sul e entre os subsegmentos da região Nordeste, para responder às duas perguntas que levantamos anteriormente:
- A personalização traz algum benefício? Ou seja, a métrica do grupo de controle é melhor ou pior que as restantes?
- Se sim, qual é o conteúdo mais apropriado para cada um dos segmentos? Ou seja, qual das variações apresentou o melhor resultado?
O que esperar dos testes com personalização
O que temos visto por aqui não está muito distante dos resultados do estudo da McKinsey. Em 100% dos casos a resposta para a primeira pergunta é sempre sim, a personalização traz muitos resultados positivos! Não é a toa que criamos esse blog =)
A grande vantagem dos testes com personalização está na descoberta de nuances entre segmentos. Diferentemente dos testes comuns, que apontam a melhor versão para o público em geral, esses testes nos mostram qual variação é melhor para qual segmento. Utilizando inteligência artificial, é possível inclusive fazer testes super granulares, chegando até a um nível individual.
De mode geral, você pode esperar aumentos de 5% a 8% no ROI e de até 15% na receita por visita. Tudo vai depender do nível de otimização que você já tem no seu site atualmente e de quanto esforço você está disposto a investir nas estratégias e nos conteúdos personalizados.
