Конвейер гипотез: как запускать много гипотез и оценивать их эффективность

Конвейер гипотез — подход к тестированию гипотез для сайтов, рекламы, аналитики или других сфер. Это непрерывный цикл, который повторяется на протяжении всей работы над проектом. Он позволяет сохранять проактивность на длинной дистанции и находить рабочие гипотезы по увеличению заявок, продаж и прочих KPI.

Почему это важно. В сфере интернет-рекламы отсутствие постоянного тестирования и проверки гипотез приводит к стагнации и проигрышу конкурентам. В digital регулярно появляются новые каналы привлечения аудитории: например, уличные цифровые установки, которые могут таргетироваться и видеть, кто находится рядом с общественным Wi-Fi. Существуют и другие каналы, рекламные инструменты и воронки, которые надо постоянно пробовать, чтобы оставлять наиболее эффективные, находить ЦА и привлекать клиентов.

Теперь немного теории. Конвейер гипотез строится по HADI-циклам. Каждый включает четыре стадии:

Гипотеза (H — hypothesis).
Действие (A — actions).
Сбор данных (D — data).
Выводы (I — insights).

После гипотеза формулируется снова, и цикл повторяется.

Что важно при использовании конвейера:

подготовить гипотезы;
запустить их;
оценить и перезапустить.

Поговорим подробно о каждом аспекте, а также приведем пример конвейера и ситуации, когда он будет бесполезен.

Планирование и подготовка гипотез

Сначала составляем список гипотез. Выделим шесть источников идей для них:

Данные прошлых рекламных кампаний, если они уже были у клиента.
Текущая отчетность. Если проект уже работает, стоит каждую неделю изучать отчетность и формулировать гипотезы, которые будем тестировать в рамках конвейера. Например, если есть падение конверсии на прошлой неделе, нужно проанализировать, какой источник повлиял на это, а после составить гипотезы о возможных изменениях.
Анализ конкурентов. Можно получить данные по примерным бюджетам, трафику, рекламным инструментам, УТП и воронкам в арсенале соперника.
Личный опыт специалистов по рекламе, знающих особенности различных сегментов бизнеса. Агентства работают с большим количеством клиентов, поэтому у сотрудников формируется необходимый кругозор.
Мозговой штурм, когда в голову могут прийти любые гипотезы. Часть из них будет нереалистичной, но что-то может и сработать.
Обратная связь от представителей клиента. Чаще всего это отдел продаж и продакт-менеджеры — те, кто коммуницирует с клиентами и продуктом, знает боли и потребности аудитории.

Когда сгенерировано много гипотез, их нужно приоритизировать. Для этого каждой гипотезе присваиваем значение по формуле RICE:

Здесь:

R (reach) — охват людей, которых коснется продукт;
Например, это может быть прогноз числа потенциальных клиентов.
I (impact) — влияние на продукт и его успешность, которое оценивается по шкале от 0,25 (минимальное воздействие) до 3 (очень сильное воздействие);
Например, незначительную доработку, важную для узкого сегмента клиентов, можно оценить в 0,25. А киллер-фичу, из-за которой продукт станут покупать намного лучше — в 3. Влияние также можно оцифровать в формате получаемого количества KPI по А/В-тесту.
C (confidence) — уверенность в оценке прогнозов по reach и impact, которую измеряем значениями от 50% до 100%;
Например, исследования и подтвержденные опросы представителей ЦА можно оценить выше, чем интуицию или неофициальные данные. Если результат выходит меньше 50%, гипотезу лучше отложить или собрать дополнительные данные.
E (effort) — трудозатраты в «человеко-месяцах».

При оценке ресурсов, которые потребуются на тестирование гипотезы, важно получить представление:

о загрузке команды — сколько времени и усилий понадобится на запуск;
о доступном бюджете — какие результаты гипотеза может с ним принести.

Запуск гипотез

На этом этапе важно следовать трем правилам.

Грамотный выбор и настройка необходимых инструментов

Это нужно делать перед стартом тестирования. База:

Яндекс Метрика — позволяет запускать простые тесты без привлечения разработчиков;
Varioqub — внутренний сервис Яндекса, который предоставляет данные для мониторинга и дальнейшего принятия решений.

Также на рынке есть множество других сервисов для тестирования с более глубоким анализом. На старте могут пригодиться:

инструменты для А/В-тестов — их предоставляют и сами платформы, на которых будет проводиться проверка гипотез (например, в рекламном кабинете ВКонтакте можно попробовать разные варианты объявлений: разделить трафик и провести тесты при одинаковых условиях, чтобы получить объективные результаты);
инструменты сквозной аналитики, чтобы в будущем можно было проследить результаты тестирования вплоть до покупки, а также подготовить шаблон отчета об эффективности (он может быть реализован как в виде таблицы, так и в форме дашборда).

Отказ от тестирования конкурирующих гипотез

При тестировании гипотез мы стараемся избежать ситуаций, когда одновременно происходят два или более конкурирующих изменения. Например, если редактируем заголовок объявления, то не изменяем семантику. Или при тестировании страниц сайта не делаем одновременно изменение цвета кнопок и заголовка. Это затруднит анализ результатов.

Действует простое правило: каждый элемент теста должен быть уникальным. При этом можно запускать несколько тестов на одном элементе, если анализируем разные параметры.

Разделение экспериментальных групп

Всю аудиторию технически можно разделить пополам или в нужной вам пропорции, актуальной для теста. Например:

50% аудитории пользуется продуктом в исходном состоянии;
50% аудитории пользуется продуктом в новом состоянии.

Срок, на который создаем экспериментальные группы, зависит от объема данных и средних значений. Например, если мы знаем среднюю стоимость заявки или продажи, то срок тестирования гипотезы можем определить, отталкиваясь от желаемого количества заявок. Если нужно 10 заявок и они набираются за 2 недели, тест можно остановить.

Оценка и перезапуск гипотез

На этапе оценки гипотез (в процессе и после проведения тестов), нужно сравнивать фактический результат с показателями, которые считаем:

минимально приемлемыми;
целевыми.

Динамику изменений можно фиксировать в разных показателях: бюджете за 1000 показов, стоимости клика, CTR, конверсии в заявку и продажу.

При оценке важно ориентироваться на цифры. Не должно быть ситуаций, когда какой-то этап (например, конверсия лидов в продажи), — это черный ящик. Решения не должны приниматься на основе ощущений, без подкрепления данными.

Если гипотеза подтверждается (то есть ее уровень выше хотя бы минимально приемлемого), можно принять решение о продолжении тестирования или расширении изменений на большее количество рекламных кампаний или все страницы сайта.

Если гипотеза не дает результатов в рамках проведенного теста, стоит оценить, может ли это случиться в долгосрочной перспективе — рассчитать доверительный интервал. Пошаговый процесс можно посмотреть здесь, упростить расчет поможет специальный калькулятор.

Точка зрения, которой стоит придерживаться: любой тест дает данные, помогающие бизнесу стать лучше. Не бывает плохих результатов. По моему опыту, 70–80% всех гипотез оказываются нерабочими. Но это не значит, что от конвейера и постоянных тестов следует отказываться.

Пример сквозного отчета по эффективности гипотез

Пример конвейера гипотез: 6 этапов цикла

Подытожим всё, о чем говорили выше, с помощью примера. Вот каким может быть конвейер гипотез по рекламной кампании:

Этап 1. Формулируем гипотезу на основе, например, сбора данных, сквозной отчетности, анализа прошлых кампаний, аудита аналогичных рекламных источников или общения с отделом продаж клиента.

Этап 2. Составляем базу знаний по каждой гипотезе, которая у нас обсуждена, оценена и оцифрована. База знаний представляет собой документ, в котором хранятся все гипотезы с подробным описанием содержимого каждой.

Этап 3. Приоритезируем гипотезы с использованием фреймворка RICE или других инструментов. Результат важно согласовать с клиентом, особенно если это сложная отрасль.

Этап 4. Готовим гипотезу к тестированию: создаем кампании, выделяем бюджет. Запускаем.

Этап 5. Оцениваем эффективность. Если результаты положительные, обсуждаем варианты дальнейшего масштабирования или оптимизации. Если отрицательные, анализируем их и определяем, какие изменения необходимы. На этом этапе также собираем сквозную отчетность, которая показывает эффективность работы гипотезы с первого дня запуска.

Этап 6. Принимаем решение: продолжать тестирование или прекратить его.

Цикл повторяется, пока мы не достигнем желаемых результатов или не определим, что дальнейшее тестирование нецелесообразно.

Когда конвейер гипотез вам не подойдет

Может сложиться впечатление, что конвейер гипотез — универсальный инструмент для внедрения изменений. Это не так. Вот две частые ситуации, когда конвейер может оказаться неэффективным:

Недостаточная вовлеченность. Если одна из сторон не заинтересована в процессе, конвейер может оказаться неэффективным. Например, если клиент не желает работать открыто и делиться информацией. Из-за этого можно получить искаженные результаты, что приведет к неверным выводам и сделает работу конвейера бессмысленным.
Нехватка ресурсов — как финансовых, так и временных. На исследования нужно выделять дополнительные ресурсы, ведь не все гипотезы приводят к положительным результатам. Есть вероятность на непродуктивных тестах потерять время специалистов и деньги. Если у бизнеса дополнительных ресурсов нет, то запускать конвейер бессмысленно.

Если вы замечаете, что у клиента нет интереса к формату конвейера, лучше работать с текущим набором задач: обеспечивать стабильность и доход.