Как построить сквозную аналитику в Yandex DataLens на основе сырых данных из Метрики и других систем — кейс

Сквозная аналитика собирает данные не только с сайта, но и из рекламных систем, CRM и других источников. В итоге вы видите видеть весь путь клиента: от первого клика по рекламе до совершения сделки. А после можете точно оценить, какой канал приносит больше прибыли, а какой требует доработок — а значит, эффективнее распределять бюджет и инвестировать деньги в те каналы, которые работают.

Разберем подробнее, почему Яндекс Метрики может быть недостаточно:

1. Гибкость этой системы ограничена, если вам нужно соединить множество источников (хотя в Яндекс Метрику и можно загрузить офлайн-данные). Сквозная аналитика обогащает данные Яндекс Метрики информацией из других систем (CRM, рекламные платформы и т. п.). Это дает больше контроля над тем, как именно данные объединяются, а значит, и над тем, как именно можно их анализировать.

2. Отчеты Яндекс Метрики имеют свою агрегацию. Иногда этого недостаточно и нужно создавать свои группировки. Например, если необходимо все рекламные кампании, которые в utm_campaign содержат слово brand, объединить в одну общую категорию «Брендовые кампании» и смотреть уже сводные показатели по ней.

3. При больших объемах данных стандартные инструменты веб-аналитики могут замедляться, выводить сэмплированные данные — особенно если отчеты сложные и включают фильтры. В сквозной аналитике используются специализированные базы данных, которые справляются с большими объемами информации быстро и выводят нужную без задержек.

Кому полезно построение сквозной аналитики:

• маркетологам — чтобы видеть реальную эффективность каналов;

• руководителям — чтобы понимать, как бизнес зарабатывает деньги и куда стоит вкладывать ресурсы;

• владельцам бизнеса — чтобы принимать более обоснованные решения и видеть полную картину работы компании.

Таким образом, сквозная аналитика дает возможность заглянуть дальше стандартных отчетов и понять, что действительно влияет на прибыль и рост бизнеса. В этой статье мы на примере нашего кейса разберем, как построить такую аналитику с использованием сырых данных из Яндекс Метрики, обогащая их данными из:

• Директа;

• VK Рекламы;

• ПромоСтраниц;

• CRM.

Пошагово покажем, как объединить данные в едином дашборде с помощью BI-инструмента Yandex DataLens, чтобы получить понятную и наглядную картину эффективности вашего бизнеса. Поехали:

• Краткий обзор Yandex DataLens: почему мы его выбрали

• Начало построения: определили, какие данные потребуются

• Создание фундамента: собрали данные для подключения

• Построение дашборда в Yandex DataLens

• Результаты и выводы

Краткий обзор Yandex DataLens: почему мы его выбрали

Мы остановились на Yandex DataLens, потому что это удобный инструмент для визуализации данных, который легко подключается к ClickHouse — мощной базе данных для работы с большими объемами информации. Другие плюсы, которые мы учитывали:

1. Простой интерфейс, удобный даже для новичков — легко настроить визуализацию без углубленных знаний программирования.

2. Бесплатный доступ: все основные функции доступны и не требуют подписки или платных лицензий.

3. Удобство для проектов, уже работающих с продуктами Яндекса или с большими объемами данных в ClickHouse. Можно быстро загрузить данные из Яндекс Метрики и Яндекс Директа без лишних сложностей.

4. Широкий функционал в сравнении с другими BI-системами.

   

Начало построения: определяем, какие данные потребуются

От качества определения задач, которые должен будет решать дашборд, зависит, насколько удачным получится весь процесс его создания. Поэтому важно на первом этапе вместе с клиентом или командой определить, на какие конкретно вопросы должна будет отвечать полученная визуализация — отслеживание каких метрик важно бизнесу.

Вот несколько ключевых вопросов, на которые нужно ответить на этом этапе:

1. Задача: для чего будет использован дашборд?

2. Аудитория дашборда: кто будет пользоваться данными на дашборде? Например, менеджеры по продажам.

3. Необходимые метрики: какие ключевые показатели (KPI) и метрики нужно будет отслеживать?

4. Срезы и фильтры: важно определиться с разрезами, которые помогут глубже анализировать данные. Например: устройства, география, типы трафика, периоды времени и т. д.

5. Источники данных: как и из каких систем вы будете получать информацию? Есть ли доступы ко всем нужным системам?

6. Сроки выполнения.

Также для более полного представления будущей визуализации можно рассмотреть и обсудить с заказчиком дашборда примеры макетов из интернета, решающих похожую задачу.

Чем точнее и подробнее вы определите эти моменты, тем дальше легче будет сосредоточиться только на нужных данных. Благодаря этому вы сможете избежать множества правок, а ваш дашборд не будет перегружен лишней информацией.

В итоге на этом этапе мы составили таблицу с описанием показателей, срезов и источников, на основе которой были определены дальнейшие параметры и метрики для выгрузки по каждой из систем. Ниже приведена часть этой таблицы:

Создание фундамента: собираем данные для подключения

Этот процесс не универсален. Каждый бизнес и каждый проект могут использовать разные системы, базы данных и методы интеграции в зависимости от своих потребностей и текущей инфраструктуры.

Рассмотрим пошагово, как был реализован процесс сбора данных в нашем кейсе:

Шаг 1. Проверили, все ли необходимые метрики собираются в выбранных на предыдущем этапе источниках данных.

Рекомендация. Если для отображения какого-то графика или таблицы вам будут нужны данные из разных систем, решите, какой параметр будет для них связующим. Дело в том, что, возможно, придется донастроить его передачу в источник данных. Например, вы хотите отобразить воронку из визита в Яндекс Метрике в стадию лида из CRM — тогда вам понадобится связка данных из этих систем по client_id (или user_id), и нужно проверить/настроить передачу этого параметра в CRM.

Шаг 2. Выбрали способ подключения данных к Yandex DataLens.

Рекомендация. Важно сразу определить, как будут подключаться данные. В отличие от некоторых других инструментов, например, таких как Power BI, в DataLens нельзя напрямую объединять данные из разных источников в одной витрине. Все данные должны находиться в рамках одного подключения. Что нужно понимать:

1. Поскольку построение сквозной аналитики заключается в связке данных из нескольких систем, например, из Яндекс Метрики, CRM и рекламных платформ, потребуется предварительно объединить эту информацию в базе. Например, такой как ClickHouse. Это создаст единую витрину для работы дашборда.

2. DataLens поддерживает возможность объединения данных из разных источников, но только на уровне чарта — возможно, это будет удобно для простых случаев. Для сложных задач или больших объемов данных лучше использовать базу данных. Это упростит настройку, ускорит работу дашборда и обеспечит правильное отображение данных.

3. Эту логику стоит заложить на начальном этапе, чтобы избежать необходимости переделывать процесс позже. Подробнее об источниках данных, которые можно подключить к Yandex DataLens, написано в справке.

Мы приняли решение собрать данные из разных источников в ClickHouse и подключить площадку к DataLens. На этом этапе мы также разработали схему, которая визуализирует процесс передачи данных от источников до конечных витрин в ClickHouse. На схеме указано, откуда поступают данные и как они передаются в ClickHouse для дальнейшей обработки и очистки.

Шаг 3. Приступили к сбору исходных данных в одном месте. У нас, как было показано на схеме ранее, данные из разных систем были загружены в ClickHouse.

Рекомендация. Полезно предварительно собирать данные в едином хранилище — до сборки конечной витрины. На это есть несколько причин:

• легче найти ошибки: если витрина показывает некорректные данные, всегда можно вернуться к таблице с сырыми и найти источник проблемы;

• гибкость в работе: сырые данные хранятся отдельно, поэтому, если что-то изменилось в одном из источников, вы просто обновляете данные, не трогая запросы, создающие витрины;

• использование в будущем: на базе сырых данных можно строить новые витрины для других аналитических задач, которые могут появиться позже;

• удобство настройки: SQL-скрипты для создания витрин работают регулярно, что автоматизирует процесс и избавляет от рутины.

Сборка сырых данных — это фундамент для всей системы аналитики. Она упрощает не только текущую обработку данных, но и их использование в будущем.

Шаг 4. Обработали и очистили полученные данные. Независимо от источника, они часто содержат ошибки, пропуски или дубли. Очистка помогает избежать их и упростить анализ.

Мы обрабатывали данные в ClickHouse:

• привели их к единому виду: например, исправили разные варианты написания одной и той же кампании в UTM-метках с помощью специального словаря;

• синхронизировали данные из разных источников: географические данные из CRM и рекламных платформ были с разными форматами — мы стандартизировали их, чтобы корректно строить отчеты по регионам;

• убрали лишнее: удалили дубли, тестовые записи и нерелевантные данные, чтобы избежать «шума» в витринах;

• подготовили вспомогательные таблицы, чтобы добавить разные срезы и фильтры, например: тип заявки, тип трафика и т. д.

Шаг 5. Провели финальную агрегацию очищенных данных и создали витрины с нужными показателями и срезами. Витрины — это подготовленные таблицы с данными, уже собранными по ключевым метрикам и срезам. Это не обязательно, но может значительно ускорить работу дашбордов, особенно при больших объемах данных.

Построение дашборда в Yandex DataLens

После подготовки данных начинается, пожалуй, самый интересный этап — создание дашборда. Yandex DataLens позволяет буквально за несколько шагов превратить таблицы в понятные графики и визуализации.

Шаг 1. Подключение данных

Процесс подключения интуитивно понятен: выбираете источник, вводите параметры подключения, выбираете таблицу — и данные готовы к работе.

Шаг 2. Создание датасета

Для дальнейшей работы с данными в Yandex DataLens нужно создать датасет — набор полей, которые будут использоваться в визуализациях

Вы выбираете нужные таблицы из ранее созданного подключения, здесь также можно:

• настраивать связи между разными таблицами или объединять их (если их несколько);

• добавлять вычисляемые поля для подсчета дополнительных метрик.

Обратите внимание на возможность создать датасет с помощью SQL. Например, чтобы взять из витрины только часть данных — для оптимизации скорости загрузки визуализации.

Рекомендация. В созданном датасете с помощью функции предпросмотра переданных данных проверьте, что все поля подтягиваются корректно без ошибок и с нужными типами данных. Таким образом вы сможете исправить возможные недочеты перед тем, как приступите к настройке всех визуализаций.

Шаг 3. Настройка визуализаций

Теперь можно приступать к настройке чартов — графиков, диаграмм, таблиц, — которые будут использоваться в дашборде. Yandex DataLens предлагает широкий выбор визуализаций.

Мы, например, создали график для сравнения динамики лидов и валидных лидов по неделям. Это заняло всего пару минут: достаточно выбрать тип визуализации, указать метрики, и график готов.

Рекомендация. Перед тем как начать настраивать все необходимые чарты, рекомендуем еще раз убедиться, что данные из источника подключения передаются правильно:

1. Постройте несколько тестовых графиков или таблиц.

2. Сравните выводимые данные с данными в исходном источнике. Например, количество достижений целей в веб-интерфейсе Яндекс Метрики и количество достижений этих же целей в вашей визуализации за тот же самый период.

3. Проверьте, что нет пропущенных значений, дублирующих строк или ошибок в форматах. Обратите внимание на скорость загрузки графиков: если есть задержки, возможно, потребуется оптимизация данных.

Когда данные проверены, можно приступать к дальнейшей настройке визуализаций. Помимо использования набора полей из датасета, вы можете создавать для каждого чарта уникальные измерения и показатели, чтобы делать более интересные визуализации.

На какие возможности стоит обратить внимание:

1. Функция AGO, с помощью которой можно сделать таблицу со сравнением показателей текущего периода к прошлому. Для таких задач вы можете воспользоваться справочником формул и поискать нужные функции, которые помогут вам настроить нужный вывод данных. Или можно заглянуть в Telegram-сообщество Yandex DataLens, где вам могут подсказать настройку необходимой визуализации.

2. Создание QL-чартов. С помощью этого функционала вы можете SQL-запросом к таблице из подключения (напрямую к источнику подключения) создать более гибкие измерения и показатели. Например, кастомные разбивки данных на категории, вывод более сложных сравнительных показателей и др. Также выбор такого чарта помогает снизить нагрузку на запросы к базе данных. Подробнее об этом типе чартов — в справке.

   

3. Demo Dashboard, с помощью которого можно получить более полное представление о возможностях визуализаций в Yandex DataLens.

   

Шаг 4. Создание дашборда

Теперь на дашборд добавляются созданные на предыдущем этапе чарты. Ключевым шагом на этом этапе является также добавление фильтров/срезов, которые позволяют детализировать данные и анализировать их в различных разрезах.

Фильтрация добавляется на дашборд с помощью селекторов. По умолчанию селекторы влияют на все чарты на вкладке дашборда, но вы можете вручную задавать влияние селектора только на нужные вам чарты. Делается это с помощью функции «Связи».

Шаг 5. Финальная проверка

После настройки всех графиков и фильтров нужно протестировать дашборд — чтобы убедиться, что данные отображаются корректно, а чарты и селекторы загружаются без ошибок. После этой работы мы предоставили доступ клиенту.

Результаты и выводы

Мы подготовили дашборд. С его демо-версией вы можете ознакомиться по ссылке.

Посмотреть дашборд

Дашборд помог увидеть нам следующие моменты:

• отклонения фактических показателей от плановых по разным рекламным кампаниям — это помогло оперативно скорректировать стратегии и перераспределить бюджеты;

• взаимосвязь между расходами и количеством лидов: например, увеличение затрат на Яндекс Директ в конце года не привело к увеличению количества лидов, в то время как по VK Рекламе ситуация была обратная;

• кампании с высоким CAC и низкой конверсией, что позволило своевременно отключить или переработать неэффективные стратегии.

Думаем, наш кейс по созданию сквозной аналитики с использованием сырых данных из Яндекс Метрики в Yandex DataLens показал, насколько удобно и эффективно можно объединять данные из различных источников для бизнес-анализа. А еще подчеркнул преимущества сквозной аналитики с DataLens и ClickHouse, среди которых:

1. Быстрое объединение данных из разных систем. Благодаря возможности выгрузки сырых данных Яндекс Метрики в ClickHouse с помощью Logs API и интеграции с другими инструментами, мы собрали данные из рекламных платформ, CRM и аналитических систем в единую витрину.

2. Мощность обработки и скорость визуализации. ClickHouse обрабатывает большие объемы данных и обеспечивает их быструю загрузку на графики даже для сложных дашбордов.

3. Гибкость визуализации и анализа. DataLens предоставил инструменты для создания наглядных графиков, таблиц и диаграмм, которые удобно фильтровать и анализировать в разных разрезах: по географии, устройствам, рекламным каналам и другим параметрам.

Напоследок оставим рекомендации для построения подобных решений:

1. Помните, что успех проекта во многом зависит не только от инструментов, но и от команды специалистов, которые участвуют в работе. Для построения сквозной аналитики нужны:

   1. разработчики (data engeneer) — их роль заключается в настройке интеграций между источниками данных и базой (например, через API или SQL-запросы), а также в оптимизации обработки больших объемов данных;

   2. аналитики данных — отвечают за проектирование структуры витрин, настройку фильтров, расчет показателей и построение визуализаций;

   3. маркетологи или бизнес-аналитики — помогают определить цели анализа, ключевые метрики и проверяют, насколько результаты соответствуют задачам бизнеса.

2. Начинайте с четкого понимания целей. Определите, какие метрики и разрезы важны для вашего бизнеса, а на их основе проектируйте архитектуру данных.

3. Подготовьте данные заранее. Используйте промежуточные базы и витрины для ускорения работы и снижения нагрузки на дашборд.

4. Тестируйте на каждом этапе. Проверяйте корректность данных на уровне источников, соединений и визуализаций, чтобы избежать ошибок.

5. Сохраняйте простоту. Настраивайте только те графики и фильтры, которые действительно нужны, чтобы дашборд был удобным и понятным.