Como fazer testes com personalização

Como fazer testes com personalização

No post anterior fizemos um overview sobre testes AB, repassando todos os detalhes que envolvem as 3 etapas de um experimento: o planejamento, a implementação e a análise. Esse assunto já não é novidade para quem trabalha com marketing digital. Ao longo dos anos, saber como fazer testes AB passou a ser essencial para qualquer profissional dessa área. Entretanto, nos últimos meses temos ouvido muito uma pergunta de nossos clientes: como fazer testes com personalização?

Em um primeiro momento, é normal que as pessoas confundam um pouco as práticas de teste AB e multivariável com personalização, mas na prática eles são um pouco diferente. Por isso, vamos fazer um paralelo entre testes AB e testes com personalização.

Como segmentar a audiência

Testes comuns

Antes de mais nada, vale relembrar rapidamente como a segmentação da audiência é feita em um teste AB comum. Quando criamos um experimento, definimos qual parcela da audiência verá o site como ele é atualmente, sem nenhuma modificação: o famoso grupo de controle. Em seguida, dividimos igualmente a parcela restante entre as variações que queremos testar.

Segmentos de um teste AB comumA atribuição de um usuário a um segmento deve ser sempre aleatória e deve garantir que, uma vez sorteado, ele sempre caia no mesmo segmento nas visitas seguintes (para garantir uma experiência consistente).

Testes com personalização

Quando introduzimos a personalização, a principal mudança está no começo do fluxo de segmentação. Vamos supor que temos duas personalizações ativas no site, uma para quem está navegando na região Sul e outra para quem está na região Nordeste. Nesse caso, já temos 3 segmentos da audiência geral do site:

Segmentos de regiões

Agora, vamos imaginar que queremos fazer um teste AB relacionado ao conteúdo personalizado que será exibido para cada um desses segmentos. Queremos descobrir se (1) a personalização traz algum benefício e (2) se sim, qual é o conteúdo mais apropriado.

Para cada um dos segmentos, vamos criar um grupo de controle, que não verá nenhuma personalização, e duas variações personalizadas. O resultado da nossa segmentação, então, fica da seguinte maneira:

Subsegmentos de região com teste AB comum

Note que, diferentemente do teste comum, a primeira segmentação não é aleatória e é sempre previsível, já que a localização do usuário é sempre resolvida da mesma maneira. A partir desse ponto, a segunda segmentação segue a mesma regra de um teste comum (aleatória com garantia de consistência em visitas futuras).

Como analisar os testes com personalização

A personalização já se provou uma forte aliada na construção de experiências únicas com alto ROI. Um estudo da McKinsey, por exemplo, mostrou que a personalização pode reduzir o CAC em até 50%, aumentar a receita de 5% a 15% e melhorar a eficiência de marketing de 10% a 30%. Contudo, o objetivo é sempre medir quanto, de fato, a personalização traz de resultado para o seu negócio.

Antes de falar sobre a análise de testes com personalização, vamos relembrar o objetivo de tais testes. Basicamente, o que queremos descobrir é qual conteúdo personalizado é o mais indicado para uma determinada segmentação. Isso quer dizer que não faria sentido compararmos métricas do segmento S1 com N1, por exemplo.

Tendo em mente nosso objetivo, o que devemos analisar aqui é a métrica entre os subsegmentos da região Sul e entre os subsegmentos da região Nordeste, para responder às duas perguntas que levantamos anteriormente:

  1. A personalização traz algum benefício? Ou seja, a métrica do grupo de controle é melhor ou pior que as restantes?
  2. Se sim, qual é o conteúdo mais apropriado para cada um dos segmentos? Ou seja, qual das variações apresentou o melhor resultado?

O que esperar dos testes com personalização

O que temos visto por aqui não está muito distante dos resultados do estudo da McKinsey. Em 100% dos casos a resposta para a primeira pergunta é sempre sim, a personalização traz muitos resultados positivos! Não é a toa que criamos esse blog =)

A grande vantagem dos testes com personalização está na descoberta de nuances entre segmentos. Diferentemente dos testes comuns, que apontam a melhor versão para o público em geral, esses testes nos mostram qual variação é melhor para qual segmento. Utilizando inteligência artificial, é possível inclusive fazer testes super granulares, chegando até a um nível individual.

De mode geral, você pode esperar aumentos de 5% a 8% no ROI e de até 15% na receita por visita. Tudo vai depender do nível de otimização que você já tem no seu site atualmente e de quanto esforço você está disposto a investir nas estratégias e nos conteúdos personalizados.

Quer saber mais sobre testes com personalização? Inscreva-se na nossa newsletter e fique de olho nos novos posts que vem por ai! Ou então, quer enviar sua dúvida? Envie um e-mail pra gente! (:

Data, Analytics & Otimização

Graduada em Engenharia Mecânica, se apaixonou por tecnologia e marketing à primeira vista. Como CMO, mostrou por A mais B o potencial da personalização e dos números aplicados ao marketing. Nos últimos anos, vêm se dedicando a novas tecnologias, programação e análise de dados voltado ao desenvolvimento da Croct.