Os testes A/B recorrem à análise estatística para comparar variáveis de produtos digitais, de modo a determinarem quais delas têm melhores resultados na óptica do utilizador. A cor de um botão, a frequência de anúncios ou o nível de dificuldade de um jogo são exemplos de pequenos pormenores que, em conjunto, causam um enorme impacto no resultado final.

Quer se trate de um website, uma aplicação, um videojogo ou outros produtos digitais, aconselha-se que realize os testes A/B nos produtos que deseja pôr ou já tem no mercado. O valor a pagar por este serviço vai depender significativamente do produto, do seu potencial e do cliente. Actualmente, em Portugal, um/a especialista em A/B para lhe dar aconselhamento recebe, em média, 15€ por casa 15 minutos. No entanto, conforme uma série de variáveis, poderá vir a pagar entre 5€ e 35€ por cada 15 minutos.   

Para melhor compreender o testes, como é realizado e os factores que podem afectar os seus custos, vamos usar um website como exemplo de produto.

Número de elementos testados

Num website, um/a especialista em A/B analisa sobretudo estes elementos:

• Botões Call to Action (conteúdo, localização na página);
• Outros botões (cor, tamanho, localização na página, texto);
• Imagens (tamanho, conteúdo, localização na página);
• Texto na página (comprimento, conteúdo);
• Preços de produtos e serviços vendidos no site.

Nas páginas e fora, estas são outras componentes que podem ser postas à experiência:

• Publicidade;
• Estratégias e abordagens de comunicação e gestão;
• E-mails e newsletters;
• E muitas outras.

O número de elementos analisados pelos/as especialistas afecta o valor do serviço principalmente por influenciar a duração do trabalho. A recolha de dados é toda feita no mesmo espaço de tempo, independentemente do número de itens seleccionado para a experiência. Mas o processamento e a análise da informação obtida será proporcional em trabalho e financeiramente ao número de componentes.

Realização de um teste A/A ou A/B/A

O método A/B compara duas versões de um site ao dividir os seus visitantes em dois grupos. Isto é, a uma parte do público mostra-se a versão A e aos restantes apresenta-se a B. A versão que obtiver os melhores resultados (subscrições, interacções, partilhas, compra de produtos, etc.) é, na prática, a vencedora.

Não se pode afirmar que é, com certeza, a versão que ganha porque o método A/B não é suficiente para determinar realmente os elementos vencedores, uma vez que uma infinidade de factores pode influenciar os resultados. Portanto, recomenda-se que, antes, os/as especialistas façam um teste A/A ou, então, uma única análise, a A/B/A.

• Teste A/A

Antes de aplicar a técnica A/B, pode realizar-se a experiência de mostrar aos visitantes duas páginas idênticas. Se os resultados (para as hipóteses formuladas a priori) corresponderem, então os dados obtidos no teste A/B serão válidos. Se os os resultados divergirem muito, não faz sentido continuar a experiência com o A/B, uma vez que a amostra é muito diferente.

• Teste A/B/A

Ao optar por fazer A/A e A/B ao mesmo tempo, o cliente poupa tempo. No mesmo período de avaliação, testa se todos os utilizadores têm comportamentos relativamente semelhantes, e quais das variáveis das componentes testadas têm melhores resultados. Na experiência A/B/A o que se faz é dividir o público em três grupos, apresentar a um deles a página B e aos outros dois mostrar a versão A. No entanto, para levar a cabo este teste com estatísticas correctas, é necessários obter mais do dobro do tráfego.

Duração do teste

Esta variável está directamente relacionada com o número de horas totais facturadas pelo/a especialista ou equipa. O teste A/B deve durar, no mínimo, uma semana. Mas o período recomendado é de 10 a 14 dias. Esta exigência não se prende com a necessidade de alcançar um certo número de visitas, mas sim com o facto de que, no espaço da semana, registam-se padrões de comportamento diferentes por parte dos utilizadores.

Reputação profissional 

Ao colocar um produto no mercado, o que está em jogo é a reputação do cliente. Daí que a qualidade de um serviço como o A/B Testing seja imprescindível para o seu negócio. Como sempre, a reputação e experiência são factores que fazem subir o preço de qualquer serviço.

Dimensão do cliente

A visibilidade e aceitação de um produto digital pode afectar o custo cobrado por uma hora de trabalho. O crescimento da tecnologias de comunicação e do entretenimento digital, por exemplo, os prestadores de serviços a negócios destas áreas têm vindo a valorizar mais o que têm a oferecer. Hoje, o trabalho e A/B Testing pode ajudar qualquer cliente a poupar muito tempo e dinheiro. Portanto, quanto maiores forem estes clientes ou melhores os seus produtos, mais pagarão por testes como estes.