Redash для визуализации данных Google BigQuery

В отделе маркетинга еЛамы мы используем облачную базу данных Google BigQuery для сбора, объединения и анализа всех необходимых данных:

• действия посетителей на сайте, использование ими наших инструментов с фронтенда — стриминг из Google Analytics OWOX BI Streaming;
• информация о пользователях еЛамы, платежах, использовании инструментов — выгрузки из внутренних баз данных MySQL и PostgreSQL;
• посещения вебинаров из сервиса ClickMeeting (сторонняя платформа для проведения онлайн-конференций и вебинаров);
• информация о расходах на платные рекламные каналы (Яндекс.Директ, Google AdWords, ВКонтакте и т.д.);
• данные из Google Search Console, т.к. они там хранятся не более 90 дней;

Google BigQuery позволяет выполнять SQL запросы и получать отчеты в табличном виде, но не предлагает никакой встроенной визуализации. Графические отчеты приходится строить в Google Docs или Excel. При серьезных изменениях в отчетных данных нужно каждый раз редактировать графики. Другой вариант — использовать сторонние сервисы для визуализации. В этой статье мы рассмотрим один из них — Redash. Мы его используем для визуализации финансовых показателей, использования пользователями наших инструментов и сервисов.

Ниже пример графика из Redash, который показывает распределение количества одного из сегментов пользователей еЛамы в зависимости от количества дней между регистрацией и первым платежом (активацией).

Дашборд с этими данными доступен по ссылке. 

Для сравнения, результат этого же запроса в BigQuery в табличном виде выглядит так:

Теперь давайте разберемся, что нужно для старта работы с Redash и как создать такой (или любой другой) дашборд.

1. В Google Cloud Platform в разделе «Диспетчер API» нужно создать Ключ сервисного аккаунта, тип JSON и скачать его себе на компьютер:

Создание ключа сервисного аккаунта. Шаг 1

Создание ключа сервисного аккаунта. Шаг 2

2. Также нам понадобится Project ID в Google Cloud:

3. Затем в Redash нужно создать источник данных типа BigQuery, указать JSON ключ и Project ID:

Создание источника данных. Шаг 1

Создание источника данных. Шаг 2

Создание источника данных. Шаг 3

После настройки коннектора можно уже полноценно работать в Redash.

4. Создадим новый SQL запрос, который будет рассчитывать количество пользователей еЛамы в зависимости от количества дней между регистрацией и первым платежом. Текст SQL запроса у вас может быть другим, в зависимости от структуры ваших данных. Запрос выполняется с такой же скоростью, как и в веб-среде BigQuery.

5. Результат получаем в табличном виде. Затем нужно кликнуть на «+ NEW VISUALIZATION» и легкими движениями мыши настроить график; при необходимости можно изменить название и порядок ярлыков:

Создание графика. Шаг 1

Создание графика. Шаг 2

Так, мы настроили график для запроса и можем отправить такую ссылку клиенту или руководителю. На дашбордах можно размещать несколько графиков и таблиц, компонуя их по тематикам или показателям.

Итак, плюсы Redash:

• полностью бесплатен при установке на собственный сервер — это Open Source проект;
• можно создавать SQL запросы и настраивать визуализацию сразу в одном окне;
• сервис удобен в работе и в нем минимальное количество странностей или багов;
• можно настроить автоматическое обновление запросов по расписанию;
• коннекторы к большому количеству баз данных и сервисов.

Минусы:

• сервис платный, если не устанавливать на собственный сервер (есть 30-дневный триал);
• функционал построения графических отчетов не очень богатый (нет фильтров, чекбоксов, и по сути позволяет строить только относительно простые графики).

Redash мы установили на собственный сервер по инструкции. У системного администратора каких-то сложностей не возникло и заняло немного времени. Для установки доступны готовые образы для облачных провайдеров Amazon Web Services и Google Cloud Computing. Полная документация по использованию Redash.