Bem, é exatamente o que parece. É um teste entre duas opções, para verificar qual delas é mais eficaz. Normalmente, há uma variante atual A e uma variante alternativa B. O público é então dividido em duas metades. Um grupo verá A, o outro B. Os resultados devem mostrar qual opção funcionou melhor dependendo do objetivo do teste.
É necessário entender o desempenho do seu site com antecedência para ver se o teste A/B fez alguma diferença no desempenho do site.
Quando tiver reunido todos os dados necessários, analise-os. Procure os problemas que deseja resolver ou casos que deseja melhorar. Depois de identificar o problema e definir uma meta para o teste A/B, mantenha o foco neles.
Com o problema que você quer resolver e um objetivo definido, é hora de pensar na parte específica do seu site que você quer testar. Digamos que você esteja se perguntando que tipo de oferta funciona melhor – um desconto maior para um único item ou um desconto menor para todo o carrinho? Antes mesmo de executar o teste, você já deve pré-determinar o resultado para ambas as opções. Sua previsão é sua hipótese, que é uma parte vital de um teste A/B.
Para obter os melhores resultados, você deve considerar mais alguns detalhes. Em primeiro lugar, teste as duas versões ao mesmo tempo. Para isso, você precisa dividir seu público em grupos, mostrando a eles diferentes opções durante o mesmo período. Outro detalhe essencial é dividir seu público em grupos iguais. Só assim, os dados que você coleta são representativos. Deve-se notar que pequenos grupos podem apresentar resultados acidentais. Para coletar dados úteis, lembre-se de que quanto menor o grupo, mais tempo o teste deve durar.