Так как 1 июля 2023 года Google прекратит поддержку Universal Analytics, компании, которые еще не переехали на Google Analytics 4, начнут массово это делать, и у них возникнет много вопросов. Консалтинговая кампания 55, основанная в 2010 году бывшими руководителями Google, готовится к повышенной нагрузке на сотрудников и решила протестировать, справится ли ChatGPT с консультированием клиентов. Эксперты задали ChatGPT 42 самых популярных вопроса о GA4 — он дал только 12 правильных ответов, сообщается на сайте компании.
На каждый пятый (19%) вопрос ChatGPT ответил полуправильно:
-
в некоторых случаях бот выдавал корректную информацию, но она не была ответом на поставленный вопрос, то есть бот не понимал, о чем его спрашивают, тогда как человек легко бы это понял;
-
в других случаях в ответах бота была дезинформация, но не в таком количестве, которая позволила бы признать ответ неверным и привела бы к значительной путанице.
Причин, почему бот не справился с заданием, две:
-
Бот ограничен информацией — в настоящее время он использует данные за 2021 год (напомним, что Google анонсировал Google Analytics 4 в конце 2020 года). ChatGPT ничего не знает об обновлениях инструмента, сделанных после 2021 года — например, об атрибуции на основе данных или отчете «Целевая страница».
-
ChatGPT не волнуется о качестве используемых им данных — он не ранжирует их на основе авторитета домена, что означает, что данные поступают не только из надежных источников.
Подводя итоги исследования, консультант из консалтинговой кампании 55 Сэм Берр заключил: «Потенциал такого ИИ, как ChatGPT, очевиден для всех — и маркетологам придется адаптироваться к нему в будущем, но сейчас им следует дважды подумать, прежде чем использовать его в качестве источника информации. В большинстве случаев он может указать вам правильное направление, но его ответы должны сопровождаться дополнительными исследованиями из альтернативных источников — важно помнить, что это чат-бот, а не оракул. Возможно, он поможет повысить производительность, пробудить творческий подход или начать разговор, но пока эта технология не будет более развита, она точно не пройдет испытательный срок в нашей компании».
Напомним, что с августа 2022 года по февраль 2023 года спрос на специалистов, которые работают с ChatGPT, вырос в 13 раз.
