Como o teste A / B pode levar a uma queda na conversão

Testes de divisão ajudam a otimizar a conversão. Com a ajuda deles, os profissionais de marketing verificam a eficácia das alterações nas páginas de destino, nos formulários de conversão e em outros elementos dos sites. No entanto, os testes A / B podem levar a uma queda acentuada na taxa de conversão e reduzir as vendas. Como isso está indo? Leia abaixo.

Qual é o significado do teste de divisão?

O teste A / B é um método de pesquisa que permite avaliar a eficácia das alterações no site. Ao mesmo tempo, o teste de divisão é um método de marketing aplicado para aumentar a eficácia das páginas da web. O teste A / B é realizado usando serviços especiais, como Experiências de conteúdo, Otimizador de website visual ou Optimizely.

A essência do teste A / B é a seguinte:

  • Você explora a eficácia da página e formula uma hipótese.
  • Para testar uma hipótese, você cria uma página de teste.
  • Com a ajuda de um serviço especial, você distribui o tráfego entre as páginas de origem e de teste do site.
  • Depois de um certo tempo, você compara os parâmetros das páginas de teste e teste. Isso permite confirmar ou negar a hipótese.

Muitas vezes, os resultados dos testes de divisão são inesperados. Por exemplo, a taxa de conversão pode aumentar após a exclusão de clientes agradecidos da página de feedback, e o número de pedidos pode aumentar após substituir o agressivo CTA "Inscreva-se agora" por um texto neutro "Desejo receber informações sobre novos produtos e descontos".

Às vezes, um teste A / B não corrige apenas a ineficácia da mudança, mas leva a resultados comerciais negativos. Isso acontece devido a erros técnicos ou de marketing.

Como um teste de divisão pode reduzir a conversão: um mini-case

O proprietário de um popular blog de marketing na Internet em inglês decidiu testar a eficácia do formulário de inscrição por e-mail pop-up. Ele criou uma versão de teste do formulário de assinatura e distribuiu igualmente o tráfego entre os formulários de teste e teste usando o serviço AWeber. Um dia depois, o blogueiro verificou os resultados do experimento. No relatório, ele viu a seguinte imagem:

A linha superior exibe os resultados da versão de teste e o controle inferior. Os resultados do teste exigem decodificação:

  • Probabilidade: esta coluna exibe a distribuição planejada de tráfego entre as páginas de texto e de controle.
  • Exibições: os usuários viram a versão de teste 6055 vezes e a versão de controle 610.
  • Assinantes: a versão de teste trouxe 47 assinaturas e a versão de teste 19.
  • S / D: a porcentagem de inscrições em impressões.

Você não precisa ter um diploma para entender que os resultados do teste não podem ser considerados válidos. Apesar dos planos do experimentador de distribuir o tráfego igualmente entre as páginas de teste e controle, a variante com as alterações marcou quase 10 vezes mais visualizações. Como se viu, isso ocorreu devido a uma falha técnica na plataforma AWeber.

Parece que o proprietário do blog pode respirar, aguardar a mensagem de erro e reiniciar a experiência. Mas um picky saudável pode fazê-lo analisar novamente a relação S / D da página de base e o número de ocorrências da página de teste. Droga, se a plataforma quebrasse do outro jeito, então 6055 impressões poderiam ser convertidas em 187 assinaturas. Percebendo a perda de centenas de assinantes por dia, o blogueiro pode ficar muito chateado e perder a confiança no teste dividido.

Na verdade, ninguém está imune a falhas técnicas e os testes A / B continuam sendo uma ferramenta de marketing eficaz, apesar do incidente descrito acima. No entanto, testes de divisão podem mostrar resultados errôneos e levar a uma queda na conversão devido a erros de marketing.

Quando os testes divididos levam a perdas devido à falha do experimentador

O experimento se torna um problema para o site e os negócios, quando o profissional de marketing comete sérios erros na fase de planejamento. A seguir estão os erros mais comuns dos experimentadores.

  • Criando condições que distorcem fortemente o curso do experimento

O que você acha, que texto se tornará mais conversão: "adicionar produto ao carrinho" ou "fazer um pedido"? A resposta a esta pergunta pode ser obtida durante o teste de divisão. E qual CTA será mais bem-sucedida para o formulário de assinatura: "inscreva-se em nosso boletim informativo" ou "deixe o e-mail e ganhe 1000 rublos para a conta Webmoney"? Você sabe a resposta para essa pergunta sem um teste A / B.

O problema não é que os resultados do experimento serão distorcidos. 99% dos assinantes que se inscreverem para 1000 rublos gratuitos deixarão de receber sua newsletter dentro de alguns dias. Eles não farão isso imediatamente depois de receber o dinheiro apenas por causa do medo de que você sonhe com isso à noite e balance a cabeça com reprovação. Acontece que esse erro é perigoso não tanto por causa da distorção dos resultados experimentais, mas por causa de falsas conversões.

  • Tamanho da amostra insuficiente

Muitos serviços para realizar testes A / B permitem determinar arbitrariamente a proporção de tráfego que participa do experimento. Se você permitir que um número insignificante de visitantes participe do experimento, isso aumenta significativamente o tempo necessário para obter um resultado válido. Mas isso não é tudo.

Imagine a seguinte situação: você está testando um novo design de página. O experimento envolveu 5% dos visitantes que foram enviados para a página de teste. Você não tem pressa, então não quer arriscar. Depois de um mês, a taxa de conversão da página de teste é 2,5 vezes maior do que o indicador de controle. Deslocado em uma tentativa de morder seu ombro pelo cotovelo não significa nada comparado com o lucro perdido. As perdas poderiam ser significativamente reduzidas distribuindo o tráfego de maneira diferente no início do experimento.

  • Testando diferentes elementos de página

Imagine testar uma nova versão do texto para um botão de conversão. No último momento, o designer também decide alterar a cor do próprio botão na página de teste. No decorrer do experimento, verifica-se que a nova página é duas vezes mais conversão do que a antiga. Você atribui esse efeito a um novo texto e exclui a versão antiga.

Depois de um tempo, você percebe que a conversão da página caiu em 50%. Tendo pego na sala de fumo do designer, você confessa uma confissão dele sobre mudar a cor dos botões. Agora você pode explicar o aumento na conversão durante o teste. Além disso, você entende que perdeu tempo e clientes, já que o novo texto do botão de conversão foi menos eficaz do que o antigo.

  • Seleção incorreta de métricas

Imagine que você está testando a eficácia dos botões de conversão, convidando um usuário a baixar um e-book gratuito. Nesse caso, a conversão pode ser considerada um clique no botão, após o qual o livro começa a ser carregado automaticamente no disco rígido do visitante. Você avaliará os resultados do teste para o CTR de cada variante de botão.

E como avaliar a eficácia do botão de conversão, convidando para adicionar o produto ao carrinho ou fazer um pedido? Clique no botão não é igual à conversão, como adicionando o produto ao cesto, o usuário pode mudar de idéia. Talvez a eficácia do botão deva ser avaliada pelo número de transações concluídas? É possível que um botão com um CTR mais alto gere menos transações concluídas? Os negócios prejudicam uma situação em que você considera erroneamente um botão com uma CTR alta e uma taxa de pagamento baixa para ser mais eficiente?

Medicina forte nas mãos dos inexperientes, como uma espada afiada nas mãos de um louco

Os médicos da antiguidade advertiram essas palavras de colegas novatos contra o uso irracional das drogas. O teste A / B é um medicamento de marketing forte que beneficia apenas quando usado corretamente. Erros de teste de divisão podem custar não apenas tempo perdido, mas também uma queda na conversão e nas vendas. Esteja atento!

Loading...

Deixe O Seu Comentário