А/Б-тестирование на сайте с помощью Google Optimize — кейс

При работе с проектом часто возникают идеи насчет того, как можно увеличить количество конверсий на сайте, изменив дизайн. Но далеко не всегда есть возможность реализовать эти идеи, так как для этого нужно привлечь программиста. К тому же наперед неизвестно, к чему именно приведут эти изменения на сайте: вдруг станет хуже, и заказчик не будет доверять никаким тестам в будущем.

Благодаря сервисам А/Б-тестирования можно создавать эксперименты, с помощью которых можно отследить, как именно изменения на сайте могут повлиять на работу вашего сайта. А/Б-тестирование на сайте — это чаще всего сравнение двух страниц с разным дизайном в одно и тоже время, при одинаковых условиях с целью выяснить, какая версия работает лучше на конкретную цель. По результатам такого теста можно принимать решение, имеет ли право на жизнь новая идея. Если на конец периода результаты положительные, то отчеты по работе данных изменений стоит показать заказчику, чтобы убедить его внести их на сайт. В случае если эксперимент дает отрицательные результаты, его можно сразу же отключить.

Google Optimize: возможности

Осенью 2016 года Google запустил в бете бесплатный сервис для А/Б-тестирования сайта — Google Optimize. Подобные сервисы существовали и раньше, однако были сложны в использовании и порой даже для тестирования мелких задач необходимо было привлекать программистов. Google Optimize в свою очередь прост в использовании: чтобы начать работу с сервисом достаточно создать в нем аккаунт, вставить код на сайт через Google Tag Manager и привязать к аккаунту Google Optimize аккаунт Google Analytics. Подробнее об установке, а также типах экспериментов можно узнать из статьи в нашем блоге.

Большинство сервисов А/Б-тестирования платные, Google Optimize бесплатный, но также есть дополнительно платный сервис Google Optimize 360.

Сравнение Google Optimize и Google Optimize 360

Можно выделить основные преимущества платной версии:

1. В Google Optimize 360 есть доступ к аудиториям Google Analytics, что в свою очередь позволяет проводить эксперимент только с пользователями из ваших списков. В бесплатной версии можно использовать только доступные настройки таргетинга Google Optimize.

2. В бесплатной версии есть возможность отследить только три предварительно выбранные цели из Google Analytics (одна основная и две дополнительных). В платной же версии можно смотреть, как изменения на сайте влияют на все цели.

3. В бесплатной версии есть ограничение по количеству одновременно запущенных экспериментов: только пять экспериментов могут работать параллельно, что для небольшого сайта не станет большой проблемой.

Сравниваем две страницы с помощью Google Optimize

Клиент — украинский интернет-магазин «Пекарь — кондитер».

Задача: в период акции протестировать посадочную страницу с упоминанием акции.

Решение: с помощью Google Optimize мы запустили A/Б-тест и создали второй вариант посадочной страницы с текстом акции. Трафик распределялся 50 на 50.

В качестве целей эксперимента использовались: «Транзакция» (основная цель), «Добавление в корзину» и «Покупка в один клик» (дополнительные цели).

Эксперимент длился шесть дней. Google рекомендует проводить эксперименты длительностью в 14 дней, однако наша акция длилась именно 6 дней. За этот период было 511 экспериментальных сеансов. Они распределились следующим образом:

• исходный вариант — 278 посещений;
• страница с акцией — 233 посещения.

Результаты изменений по каждой заданной цели можно просматривать в режиме реального времени в разделе «Отчеты», пока эксперимент выполняется, а после завершения эксперимента все данные также сохраняются.

Цель «Транзакции»

Как видно на скриншоте ниже за период эксперимента страница с акцией уступила основной странице только по количеству транзакций.

Однако Google Optimize отдает небольшое предпочтение именно странице с акцией и считает, что она превосходит основную страницу в соотношении 55:45. Также страница с акцией показала выше коэффициент транзакций 5,9% против 5,6% исходной страницы, из этого следует, что в долгосрочной перспективе страница с акцией будет показывать лучшие результаты, чем основная.

Цель «Добавить в корзину»

По этой цели страница с акцией отработала плохо уступив абсолютно по всем показателям.

Цель «Купить в 1 клик»

А вот для цели «Купить в 1 клик» страница с акцией отработала куда лучше и по всем показателям превзошла основную страницу, показав вероятность превосходства в 88%.

Согласно рекомендациям Google Optimize, эксперимент можно останавливать, когда вероятность превосходства составляет 95%.

Результаты эксперимента доступны не только в Google Optimize, но и в отчетах Google Analytics в разделе «Поведение» — «Эксперименты». Наименование эксперимента в Analytics соответствует названием эксперимента в Optimize, что позволяет быстро найти нужный эксперимент.

Выводы

1. Google Optimize — бесплатный сервис, позволяющий проводить A/Б-тестирование на сайте без привлечения программистов.
2. Бесплатная версия Google Optimize имеет те же возможности, что и платная версия Google Optimize 360. Ее ограничение заключается только в количестве экспериментов, которые можно проводить одновременно, в количестве целей для отслеживания, а также в отсутствии таргетинга на готовые аудитории Google Analytics.
3. Эксперимент в Google Optimize рекомендуется проводить 14 дней. Если тестирование запускается бессрочно, его можно останавливать, когда вероятность превосходства одной из версий составит более 95%.