Как с помощью Вариокуба и статистики проверить гипотезу — на примере двух гипотез про УТП

Ближайший аналог Вариокуба — Google Optimize, который перестанет работать 30 сентября 2023 года. Оба сервиса дают возможность тестировать различные гипотезы, связанные в широком смысле с тем, что можно было бы охарактеризовать как UX или пользовательский опыт. Речь здесь не только о дизайне, но и, например, о ценности продукта, контенте, всевозможном надже (nudge) и т. д.

Формально сейчас у Google Optimize функциональность шире, чем у Вариокуба. Например, есть многовариантные эксперименты, A/B/N-тестирование, шаблоны баннеров и прочее. Всё это будет доступно в Google Analytics 4, но есть нюансы. Например, тем, кто использует Optimize 360, надо будет перезалить исторические данные. Если же инструмент вам нужен для решения менее инженерных задач, то Google Analytics 4 вполне можно использовать. Главное — если вы этого еще не сделали, переходите из Universal Analytics. Переехать безболезненно можно с помощью eLama.

Я считаю, что Вариокуб — куда более демократичный инструмент, чем Google Optimize, в плане его внедрения и использования для задач маркетинга. Его функции покрывают большую часть популярных рутинных задач по экспериментам в маркетинге и продуктовой аналитике. В целом, как будто Яндекс выкатил на свет такой инструмент, который дает возможность бизнесам любого масштаба тестировать гипотезы в режиме нон-стоп и опираться не на экспертизу, а на статистику.

Что можно сделать с помощью Вариокуба

Возможность 1. Запустить эксперименты при помощи визуального редактора. Это когда вы вводите URL страницы для редактирования и вносите в версию для эксперимента изменения, которые будут применяться к страницам, указанным в URL. Одновременно можно редактировать только один вариант страницы.

Что можно редактировать:

1. Сам текст.

2. Атрибут href — это гипертекстовая ссылка с адресом документа, в который следует перейти. То есть в варианте для эксперимента можно заменить ссылку, например, на отдельный веб-элемент, блок или задать его при помощи уровня пути к странице (всё, что идет после слэша — «/»).

3. Цвета элементов.

4. Размеры изменяемого элемента.

5. CSS.

6. HTML-код.

Возможность 2. Добавить ссылку для редиректа с любым количеством вариантов. То есть подставить другой адрес с доменом любого уровня или любым путем.

Возможность 3. Проставить флаги в коде. Применяется, когда вы используйте для разметки страниц специальные флаги, чтобы гибко настроить эксперимент со сложными пользовательскими сценариями.

Что ещё важно знать про Вариокуб:

1. Он интегрируется с Метрикой и AppMetrica и становится доступным во вкладке «Эксперименты». То есть эксперименты с помощью Вариокуба доступны владельцам как сайтов, так и мобильных приложений.

2. Для классных и сложных задач есть расширенный лимит на обращения к UserSplit, фильтрация по клиентским параметрам, выгрузка сырых данных через LogsAPI, до 20 технических флагов в API. Но это в платной версии, а в этой статье мы рассмотрим дефолтные возможности.

3 способа установить Вариокуб

Способ 1. При помощи контейнера Google Tag Manager

Так устанавливали мы. Рекомендуем этот способ тем, кто уже работает с GTM.

Шаг 1. Переходим в Метрику и находим там раздел «Эксперименты». Нажимаем «Код для сайта» и выбираем Google Tag Manager.

Шаг 2. Проверяем, что функция ymab ссылается на номер счетчика Метрики, который будем использовать для экспериментов. Копируем код и несем его в GTM.

Шаг 3. В GTM в разделе «Теги» создаем тег, выбрав в галерее шаблонов «Пользовательский HTML».

Туда копируем созданный код из Экспериментов.

Шаг 4. Конкретизируем условие, выступающее в качестве триггера активации: например, просмотр страниц по URL, чтобы код эксперимента запускался на конкретных страницах. Или можете выбрать All Pages.

Шаг 5. Не торопитесь создавать тег: в расширенных настройках надо установить последовательность активации тегов и выбрать активацию тегов перед тегом Яндекс Метрики (Tag Setup — выбираете счетчик Метрики). И уже затем можно активировать тег.

Не забудьте после создания тега нажать кнопку «Отправить». Также советую написать название версии и описать ее в полях для комментариев. Это поможет:

• ничего не забыть вам;

• разобраться с тем, что вы публиковали, тем, кто будет потом работать в аккаунтах.

Шаг 6. Проверьте, что Вариокуб подключен. Это можно сделать без отладчика: перейти в Метрику на страницу «Эксперименты» и создать тестовый эксперимент при помощи визуального редактора. Через некоторое время вы увидите данные, выраженные в числах.

Также можно перейти на сайт через одновременное нажатие на Ctrl + Shift + I и вызвать код сайта, там выбрать «Сеть» (Network) и в строке поиска указать домен: https://abt.s3.yandex.net/expjs/latest/exp.js. Запрос должен отображаться успешно (код со статусом 200 OK), в консоли не должно быть ошибок подключения.

Если вам тоже нужен GTM, но он не установлен на сайт, можете обратиться за помощью по настройке в агентство eLama.

Что почитать по теме:

• Как настроить аналитику с помощью Google Tag Manager

• Как настроить серверный контейнер GTM — пошаговая инструкция

Способ 2. Установка в head или body сайта без использования GTM

Все шаги и их последовательность идентичны установке Вариокуба с помощью GTM, за исключением двух:

1. Мы не создаем теги и активации в контейнере.

2. Код эксперимента — JavaScript. Мы прописываем его в элемент сайта как скрипт. При этом у элемента могут быть прописаны и другие скрипты.

Не забудьте проверить работу Вариокуба через Метрику или вызов кода сайта.

Способ 3. Подключение через API usersplit

Также Вариокуб можно подключить через API usersplit, но для этого надо немного понимать формат обмена данными JSON, то есть быть тестировщиком или уметь программировать.

Такой способ подключения Вариокуба подойдет тем, кто не может использовать GTM из-за политики компании (например, служба безопасности против) или не хочет передавать код сайта. У Яндекса есть подробная инструкция по подключению Вариокуба через API usersplit.

Когда вы установите Вариокуб одним из трех способов, в вашем кабинете в Метрике во вкладке «Эксперименты» появится возможность запускать тесты. Класс!

Как выдвигать гипотезы для A/Б-тестов — чек-лист

Так как A/Б-тест — это количественное исследование из категории экспериментов, стоит помнить, что исследования являются способом проверки гипотез. То есть первый шаг — выбор гипотезы.

Если у вас нет гипотезы или она сформулирована некорректно, как бы хорошо вы ни настроили тег, трафик всё равно будет не в коня корм — в общем, неэффективный.

Вот небольшой чек-лист по корректной постановке гипотез. Убедитесь, что гипотеза:

• Сформулирована четко, конкретно и однозначно — ее нельзя интерпретировать иначе. Избавьтесь от любых нормативных и оценочных утверждений, типа хороший и плохой, а также от рассуждений про то, как должно быть, а как не должно. Постарайтесь формулировать гипотезу в числах, пусть они будут и приблизительными.

  Пример конкретной гипотезы: если мы добавим кнопку в стартовый блок, то это увеличит CTR в заявку на 5 процентных пунктов.

• Фальсифицируемая, то есть ее можно опровергнуть. Нет смысла тестировать то, что очевидно.

  Пример очевидной гипотезы: если адаптировать сайт под смартфоны, то пользователи, открывающие сайт с мобильных устройств, перестанут уходить.

• Не требует слишком много ресурсов для проверки. Гипотеза может быть опровергнута, поэтому ресурсы, которые вы тратите на тесты, должны соответствовать издержкам на потенциальные риски в случае, если гипотеза не будет протестирована.

• Небинарна, то есть содержит внутри себя не больше одного предположения.

  Пример бинарной гипотезы: если я поменяю УТП и цвет кнопки, то количество заявок в продажу вырастет на 10%. В итоге будет непонятно, что влияет на результат — кнопка или УТП.

  То же самое касается метрик: проверяйте одну принципиальную для эксперимента метрику. Главный принцип одна цель — один элемент — одна метрика.

• При подтверждении в ходе тестов влияет на дальнейшие действия команды. То есть после валидации команда должна быть в состоянии реализовать проект на основе выводов.

Кстати, по теме:

Вариокуб Яндекса для А/Б-тестов: как грамотно сформулировать гипотезу, выбрать цель и оценить результаты

Доступная аудитория, сроки проведения и чистота эксперимента для A/Б-тестов

Аудитория. Перед запуском эксперимента нужно выбрать ЦА, на которой вы будете тестировать гипотезу: на всех пользователях или на какой-то конкретной группе. Иногда для чистоты эксперимента тестирование проводят на новых пользователях. К сожалению, в бесплатной версии Вариокуба доступны только:

• доля аудитории: можно проводить тест на определенном проценте посетителей;

  

• выбор платформы: можно показывать сайт посетителям, заходящим со всех устройств, или выбрать версию адаптации страницы под конкретные устройства.

  

Фильтрация по клиентским параметрам доступна только в платной версии. И на таких этапах начинаешь понимать, почему стоит задуматься о подписке на расширенный тариф.

Также перед запуском А/Б-теста важно определить срок проведения эксперимента. Он не должен быть слишком коротким или длинным, чтобы результаты не были искажены. Период должен примерно совпадать с частотой накопления целевых действий. И здесь важно понять, какой размер выборки вам нужен, чтобы оценить срок. Очевидно, что результатам A/Б-теста на выборке в десятки человек доверять нельзя. Но как понять, какой размер будет достоверным?

Для этого есть много калькуляторов. Мы использовали в своих экспериментах калькулятор Эвана Миллера.

Как пользоваться калькулятором размера выборки

Baseline conversion rate — это текущий уровень метрики, которую мы планируем проверять. Например, сейчас доля конверсий в заявки пользователей составляет 15%.

Minimum Detectable Effect необходим для внесения минимального отклонения от базовой конверсии, которое мы хотим заметить, — 5 процентных пунктов. Это значит, что в результате эксперимента мы хотим увидеть разницу между целевой и контрольной группами в ±5% с вероятностью (мощностью) в 80%.

Также можно выбрать, насколько изменится Statistical power 1−β — мощность эффекта:

• Absolute — показывает, на сколько процентных пунктов изменится мощность эффекта;

• Relative — показывает, на сколько процентов изменится та же величина.

По умолчанию Statistical power 1−β стоит на 80%. Это значит, что при текущем размере выборки мы увидим значимое изменение метрик в контрольной и целевой группах в 80% случаев. Чем выше мощность, тем больше выборка нам нужна, чтобы проверить гипотезу. В большинстве случаев используется значение именно в 80%.

Significance level α — уровень значимости. По умолчанию выставлен 5%.Он противоположен понятию уровня достоверности, который принято определять в 95%. 5% — это процент допущения того, что разница метрик в целевой и контрольной группах может быть ложной.

Эксперименты агентства eLama — тестирование Вариокуба

Эксперимент 1

Мы решили оценить, как изменение УТП в стартовом блоке лендинга влияет на конверсию.

Гипотеза: если изменить УТП в стартовом блоке посадочной, то конверсия в заявку увеличится на 50%.

Источники трафика:

• Google Ads;

• VK Реклама.

На протяжении эксперимента каналы и бюджет не менялись, как и за две недели до запуска эксперимента.

Конверсия: открытие Thank you page после заполнения пользователем формы заявки.

Срок проведения: семь дней.

Платформы: десктоп, мобильная версия.

Пользовательские параметры: отсутствуют.

Контрольный вариант (А) содержал текст, который мы используем на стартовом блоке лендинга больше двух лет.

Вариант Б мы создали при помощи визуального редактора. Нужно было изменить текст на стартовом блоке, адаптировать его и изображение, так как количество знаков отличалось от контрольного варианта.

В итоге гипотеза подтвердилась. Оказалось, что новое УТП принесло на 83% заявок больше, чем старая версия лендинга.

Эксперимент 2

Второй эксперимент мы проводили на лендинге с оффером по SEO от агентства eLama. Здесь мы тоже решили оценить, как изменение УТП влияет на конверсию.

Гипотеза: если изменить УТП на стартовом блоке посадочной страницы, то конверсия в заявку увеличится на 30%.

Источники трафика:

• кампания в Яндекс Директе на Поиске;

• кампания в РСЯ.

На протяжении эксперимента каналы и бюджет не меняли и не вносили существенные корректировки.

Конверсия: открытие Thank you page после заполнения пользователем формы заявки.

Срок проведения: 30 дней.

Платформы: десктоп, мобильная версия.

Пользовательские параметры: отсутствуют.

В данном эксперименте нам не удалось проверить гипотезу. Полученное P-значение, которое должно быть меньше или равно уровню значимости (P-value ≤ α), оказалось выше. Если P-значение больше уровня значимости (P-value > α), то результаты не считаются статистически значимыми, и нулевая гипотеза не отвергается.

P-значение равно 98%. Это означает, что вероятность случайно получить наблюдаемые или более экстремальные результаты составляет 98%. Поскольку это значение выше уровня значимости 0,05 (или 5%), результаты не являются статистически значимыми.

В итоге второй эксперимент показал, что наше новое сообщение в УТП не влияет на конечный результат.

В качестве вывода

Мы провели два эксперимента, идея их была схожей. В одном случае новое УТП влияло на результат, в другом нет. Значит ли это, что для второго оффера УТП не принципиально? Нет, не значит: причина может крыться в самом варианте экспериментального УТП. В первом эксперименте нам удалось повысить конверсию только при помощи создания нового УТП. Естественно, мы обновили лендинг/оффер из первого эксперимента и наслаждаемся результатом в текущих активностях, повысив количество конверсий на целых 83%, или в 1,83 раза, при точно таких же затратах.

В целом мое мнение про Вариокуб такое — это отличный инструмент. Даже его бесплатная версия помогает принимать решения в неочевидных случаях.