Как и зачем проводить A/Б-тестирование: теоретические основы

На эффективность рекламы влияет большое количество факторов: текущая ситуация на рынке, деятельность конкурентов, изменение параметров рекламируемого продукта и многие другие. Это означает, что рекламная активность не может быть статична — если мы хотим достигать нужных результатов, нам необходимо постоянно отслеживать все изменения и вносить корректировки.

Кроме того, следует учитывать, что реакция разных групп пользователей на креативы тоже далеко не одинакова. Она может различаться в зависимости от конкретной ситуации получения рекламного сообщения, площадки и блока показа, наличия УТП в объявлении и т. д.

Определить наиболее эффективные объявления с учетом всех этих факторов как раз и позволяет А/Б-тестирование. При регулярном проведении оно помогает значительно улучшить результаты кампаний.

Что же такое А/Б-тестирование? Если упростить, это сравнение двух вариантов чего-либо: объявлений, посадочных страниц, стратегий и т.д. Давайте рассмотрим подробнее на примере.

Вводные:

• Клиент — диспетчерская такси.
• Цель — привлечение водителей для устройства на работу.

Ниже приведен понедельный график реализации рекламной кампании с динамикой количества обращений и CPA. Вертикальными зелеными линиями указаны этапы запуска А/Б-тестирования объявлений.

На графике четко прослеживается корреляция между этапами тестирования и изменением количества лидов и CPA. С помощью А/Б-тестирования удалось снизить стоимость заявки в 5,17 раза и увеличить количество лидов в 2,32 раза.

А/Б-тесты с точки зрения специалистов по контекстной рекламе

Специалисты по контекстной рекламе обычно определяют А/Б-тестирование как сравнение двух различных посадочных страниц или двух вариантов объявлений. Например, двух разных объявлений в рамках одной группы или двух разных посадочных страниц, между которыми случайным образом равномерно распределяется трафик на сайте.

Сам процесс проведения тестирования объявлений цикличен и, как правило, строится следующим образом:

А/Б-тестирование с точки зрения статистики

При оценке результатов A/Б-тестирования важно понимать следующее:

1. Чем больше статистики по каждому из вариантов накоплено, тем выше вероятность, что такой результат получен не случайно. Рассмотрим пример.

У нас есть два графика, отражающих вероятность распределения среднего значения относительно полученных показателей. График №1 построен для выборки из 100 элементов (например, кликов). График №2 построен для выборки из 1000 элементов. В обоих случаях полученная конверсия в целевое обращение составила 1% (вертикальная черта в центре).

Чем шире края графика, тем меньше шансов, что в будущем мы получим такое же среднее значение CR (конверсии в целевое обращение).

Площадь, заштрихованная на изображении, показывает, насколько менее вероятно в будущем получить такое же среднее значение при выборке в 100 элементов по сравнению с выборкой в 1000 элементов. Другими словами, заштрихованная область показывает, что вывод, основанный на 100 элементах, будет менее точным, нежели на 1000 элементах.

2. Чем больше разница между показателями объявлений, тем выше шансы, что показатели по ним и дальше будут отличатся.

Пример №1. Две одинаковые по размеру выборки — 1000 элементов (например, кликов) каждая. Первый график построен для CR 0,5%. Второй график — для CR 1% .

Площадь пересечения графиков довольно большая, и это не позволяет нам отклонить гипотезу о том, что в генеральной совокупности средние значения CR этих объявлений будут равны.

Пример №2. Снова одинаковые по размеру выборки — 1000 элементов каждая. Но теперь второй график построен для CR 2%. Обратите внимание на то, как сильно различается площадь пересечения графиков в первом и во втором примере. Чем меньше площадь пересечения, тем больше шансов сделать правильные выводы.

Предположим, что мы хотим сравнить наши объявления по показателю CTR. А что если я скажу вам, что CTR ваших двух объявлений в будущем будет одинаковым? Вы, в свою очередь, можете считать, что одно из объявлений будет более кликабельным. Как понять, кто из нас прав?

В этом примере цель А/Б-тестирования с точки зрения статистики — отклонить гипотезу о том, что средний CTR у наших объявлений всегда будет одинаковым. Для опровержения таких (так называемых нулевых) гипотез применяются методы статистического анализа, например, критерий Т-Стьюдента.

Выводы: при принятии решения о том, какое из объявлений лучше или хуже отработало, учитывайте объем накопленной статистики и разницу между показателями.

Для расчетов можно использовать калькуляторы A/Б-тестов, например, AB TestGuide. В нем достаточно ввести свои данные — и калькулятор скажет вам, являются ли полученные результаты статистически значимыми.

При проведении расчетов важно, чтобы соблюдались несколько критериев:

1. Зависимая величина — показатель, по которому мы сравниваем объявления — должна быть распределена нормальным образом (см. описание на Википедии).
2. Трафик должен распределяться случайным образом, но при этом равномерно между объявлениями внутри группы.

В Яндекс.Директе трафик распределяется равномерно в начале работы кампании, но позже, спустя какое-то время, алгоритмы Яндекса перераспределяют львиную долю трафика на объявление с более высоким CTR. Перед сравнением можно проверить, равномерно ли распределяются показы между объявлениями в группе.

В Google Ads есть возможность использовать вариант равномерной ротации объявлений. В таком случае трафик будет равномерно распределяться между объявлениями.

Теоретическая часть крайне важна для понимания принципов правильного A/Б-тестирования. Для более глубокого погружения в нее вам могут помочь следующие материалы:

• статья на Хабре;
• бесплатный видеокурс от преподавателя СПбГУ.

Тем не менее на практике обычно решения принимаются интуитивно либо с помощью дополнительных средств: калькуляторов А/Б-тестов, внешних систем автоматизации и управления по правилам.

При большом количестве групп объявлений сложно проводить расчеты статистической достоверности для каждой из групп. Поэтому в системы Яндекс.Директ и Google Ads встроены механизмы автоматического перераспределения трафика. В следующем материале мы подробно поговорим об этих инструментах.