Как проводить А/Б-тестирование: правила и рекомендации

А/Б-тест или сплит-тест — это наиболее распространенный тип маркетинговых тестов, которые проводятся для повышения оптимизации конверсии. Он позволяет протестировать различные элементы на сайте, в объявлениях, настройках кампаний, рассылках и сравнивать эффективность до и после изменений.

Для запуска A/Б-теста необходимо создать две версии одного элемента, например посадочной страницы или объявления, с изменением одной переменной. Затем нужно показать эти версии двум одинаковым по размеру аудиториям и после набора данных проанализировать, какая версия сработала лучше.

Например, нужно узнать, как отразится на конверсии страницы перемещение кнопки с призывом к действию из боковой панели в верхнюю часть страницы. Чтобы это сделать, нужно создать альтернативную страницу, на которой кнопка с CTA будет находиться вверху страницы. Существующий вариант с кнопкой сбоку — это контрольная версия, или «А». Версия «Б» с кнопкой вверху является претендентом.

Затем нужно привести на каждый из вариантов определенный процент посетителей сайта, а после накопления данных сравнить их.

Что можно тестировать

Практически любой контент и настройки:

посадочные страницы и их элементы. В этом материале вы найдете 46 идей для тестов на посадочной странице;
объявления. Что именно — читайте в материале Константина Найчукова;
стратегии и подходы к управлению ставками;
элементы еmail-рассылок.

Теперь поговорим о том, как правильно проводить сплит-тесты.

Перед тестированием

1. Выберите одну переменную для проверки.

При оптимизации посадочных страниц или объявлений вы можете обнаружить, что есть несколько переменных, которые вы хотите протестировать. Но чтобы оценить, насколько эффективны те или иные изменения, нужно работать с одной «переменную» и измерить ее эффективность. При тестировании сразу двух элементов, например заголовка и изображения, вы не сможете достоверно определить, какой из них привел к изменению эффективности.

2. Определите цель.

Несмотря на то что нужно отслеживать ряд метрик для каждого теста, выберите основной показатель, на котором нужно сосредоточиться. Сделать это нужно до запуска теста. Фактически лучше определить главную метрику до настройки второго варианта. Можно описать гипотезу, указать, что, по вашему мнению, должно произойти после изменения посадочной страницы или объявления и после теста проанализировать результаты с точки зрения этой гипотезы.

Этот подход поможет настроить тест должным образом и получить репрезентативные результаты.

3. Определите контрольный вариант и претендента.

В тесте всегда есть несколько элементов:

независимая переменная, она же контрольный вариант;
зависимая переменная, или претендент.

В качестве первой, как правило, выступает рабочий вариант. Например, если вам интересно, повлияет ли добавление отзывов на целевой странице, то контрольным вариантом будет лендинг без отзывов. А претендентом будет вариант с отзывами.

4. Разделите аудиторию одинаково и случайным образом.

Как вы это сделаете, это зависит от используемого инструмента А/Б-тестирования.

Для тестов, в которых у специалиста больше контроля над аудиторией, например в случае email-рассылками, это можно сделать вручную.

5. Определите размер выборки (если применимо).

Как вы определите размер выборки, также будет зависеть от инструмента. Если вы тестируете электронные письма, имеет смысл отправить варианты на небольшую часть базы, чтобы после определения победителя отправить его на остальную часть подписчиков.

Если вы тестируете то, что не имеет конечной аудитории, например элементы на страницах сайта, то на размер выборки будет влиять длительность теста. Нужно будет позволить тесту поработать столько времени, сколько понадобиться, чтобы получить достаточно просмотров. В противном случае будет трудно достоверно определить, было ли статистически значимое различие между вариантами.

6. Определите, насколько достоверными должны быть результаты.

Когда вы выбрали целевую метрику, подумайте, насколько достоверными должны быть результаты, чтобы подтвердить победу одного варианта над другим. Статистическая значимость является важной частью сплит-тестирования.

Чем выше процент статистической достоверности, тем увереннее вы можете быть в результатах. В большинстве случаев будет достаточно 95-98%.

7. Запускайте одновременно один тест.

Проведение сразу нескольких тестов будет искажать результаты. Если специалист тестирует автоматическую стратегию в рекламной кампании и CTA на посадочной странице, то ему будет сложно определить, что именно привело к увеличению конверсий.

Во время теста

8. Используйте инструменты для сплит-тестирования.

Чтобы выполнить тест A/Б-тест на сайте, скорее всего, понадобится специальный инструмент, например Google Optimize.

9. Тестируйте оба варианта одновременно.

Время, будь то время суток, день недели или месяц, оказывает значительное влияние на результаты практически любой рекламной кампании. Если запустить версию «A» в течение одного месяца, а версию «Б» через месяц, то будет сложно определить, что повлияло на эффективность: другой дизайн или другой месяц?

При запуске сплит-тестов оба варианта должны работать в одно время, иначе есть вероятность, что на результат повлияют сторонние факторы.

10. Дайте A/Б-тесту достаточно времени для сбора данных.

Чтобы получить существенный размер выборки, необходимо дать поработать тесту достаточно времени. В противном случае будет трудно определить, была ли статистически значимая разница между этими двумя вариантами.

Сколько времени нужно? В большинстве случаев это зависит от количества трафика на сайте: его должно быть достаточно для получения результатов со статистической значимостью. Поэтому не стоит искусственно ограничивать время.

11. Получите отзывы от реальных пользователей.

А/Б-тестирование опирается на количественные данные, но специалисту не всегда понятно, почему люди поступают определенным образом, а не иначе. Поэтому иногда полезно задавать вопросы реальным пользователям.

Один из лучших способов рассказать людям о своих мнениях — это опросы. Можно добавить на страницу вопрос, почему пользователи не нажимают на определенный CTA. Или на страницах с благодарностью спрашивать, почему они нажали кнопку или заполнили форму.

После теста

12. Сосредоточьтесь на цели.

При анализе результатов и просмотре разных показателей эффективности важно удерживать внимание на главной целевой метрике.

Например, если вы тестируете CTA на странице и основной показатель — количество лидов, то не стоит уделять много внимания времени на сайте или глубине просмотра.

13. Измерьте достоверность результатов, используя специальный калькулятор.

Когда вы поймете, какой из вариантов сработал лучше, нужно определить, являются ли результаты статистически достоверными. Другими словами, достаточны ли они для внедрения изменений?

Таких калькуляторов достаточно в сети. Вот несколько:

калькулятор от KissMetrics;
калькулятор на русском языке.

14. Внедрите изменения.

Если результаты окажутся статистически значимыми, то у вас будет победитель. Завершите тест, отключив проигравший вариант.

Если ни один из вариантов не является однозначно победившим, скорее всего, переменная, которую вы тестировали, не повлияла на результаты, и вам придется пометить тест как неубедительный. В этом случае оставьте исходный вариант или выполните еще одну попытку.

15. Планируйте следующий А/Б-тест.

Возможно, что тест, который вы только что закончили, дал новый способ повысить эффективность продвижения. Но не стоит останавливаться на достигнутом.

Попробуйте провести сплит-тест для другого элемента той же страницы или кампании. Например, если вы только что протестировали заголовок на целевой странице, почему бы не сделать новый тест для текста? Или цветового оформления? Или изображения?

По материалам HubSpot.