Давайте представим такую ситуацию: компания придумывает рекламную промоакцию. Кучка маркетологов долго думает и высчитывает, сколько баллов и кому надо дать, кому дать какую скидку. И итоге выдает: «Рассылаем всем студентам скидку 20% на все меню! И пускай баллы действуют недельки две!».

Какой вопрос сразу возникает к этой истории? А с чего наши замечательные маркетологи решили дать именно такую скидку и именно таким людям? А если они в следующий раз скажут дарить 70%, то придется и это тоже делать?

В итоге окажется, что можно было дарить в 2 раза меньше баллов (а значит потратить потенциально в 2 раза меньше денег) и результат не изменился бы вообще и пришли бы ровно столько же людей. И понять это маркетологи могли как раз с помощью экспериментов.

Сначала обратимся к Википедии, как она определяет слово “эксперимент”:

Эксперимент – метод исследования некоторого явления в управляемых наблюдателем условиях.

В таком виде не очень понятно, как это касается маркетинга. Поэтому попробуем переложить на наш лад.

Когда мы проводим какие-либо промокампании, то естественно взаимодействуем с потребителем и получаем от него ту или иную реакцию. Основные параметры самой кампании могут варьироваться: размер скидки, срок действия, дополнительные бонусы и т.п. В то же время и у клиентов точно будут отличаться пол, возраст, частота покупок, средний чек, город проживания. В виде схемы это выглядит примерно так:

А теперь представьте, сколько различных вариаций может быть при сочетании всего этого многообразия параметров. Наша цель – получение максимального эффекта от акции, поэтому мы должны знать: какоепромовоздействие как сработает на какого клиента. Это и есть наш ключевой вопрос.

Эксперимент в маркетинге — процесс получения ответов на ключевые вопросы по методам воздействия на ваших клиентов для решения поставленных задач.

С чего стоит начать

В своей работе при проведении экспериментов (как это было, например, в кейсе с Росинтер Ресторантс) мы придерживаемся определенной методики.

1. Ставим задачу, формулируем гипотезы;
2. Выбираем сегменты и контрольную группу;
3. Определяем измерения эксперимента и создаем пошаговый план;
4. Запускаем кампанию;
5. Анализируем результат и формулируем выводы.

От кейса к кейсу могут появляться какие-то новые этапы, какие-то выпадать, но общий скелет именно такой: проверенный и правильный.

Задача и гипотезы

Многие ошибочно начинают работу сразу с постановки гипотез, которые они хотят проверить в эксперименте. Но это то же самое, если бы вы начинали стрелять по мишеням, еще не зайдя в тир. С голубого ручейка начинается река, а гипотеза всегда вытекает из задачи. Что мы хотим в итоге получить? Например:

1. Увеличить прибыль с автоматических коммуникаций с помощью персонализации предложений.
2. Определить, какое воздействие будет наиболее эффективно для запуска федеральной промо-кампании, нацеленной на определенный сегмент.

И исходя из каждой задачи уже мы начинаем придумывать варианты её решения. Если опираться на те, что я описал выше, то получится:

Или например:

Да, одна и та же задача может раскладываться на несколько разных гипотез. Это делается для того, чтобы эксперимент не был слишком однобоким и мы могли бы протестировать более вариативные механики воздействия.

Сегменты и контрольная группа

Едем дальше. Теперь нам надо определить сегменты, с которыми мы будем работать. Из всей нашей аудитории выбрать по параметрам тех, кто наиболее всего подходит под наш эксперимент. Например, если речь идет о реактивации оттока, то нам необходимо взять сегмент людей, которые не были у нас уже, допустим, 155 дней.

Затем всю массу подобранных людей нам нужно разделить на контрольную группу (которая не будет получать никаких специальных промопредложений) и экспериментальную группу (которая будет получать их).

Почему мы это делаем? Потому что иначе невозможно будет оценить чистый эффект именно от нашей промоакции. Если мы увидим, что и контрольная, и экспериментальная группа покупают точно также и приносят нам в среднем те же деньги, то мы легко сможем понять, что промоакция неудачная, поскольку не привела к росту целевых показателей.

В контрольную группу обычно выделяют 5-10% от всей клиентской базы. Делается это рандомно, но несмотря на это крайне важно, чтобы параметры (RFM, пол, возраст, доход и т.п.) контрольной группы совпадали в среднем с параметрами экспериментальной группы, чтобы не получилось недостоверных результатов. Поэтому после разделения базы на группы, стоит этот момент перепроверить.

Дизайн эксперимента

Звучит красиво, но давайте разбираться. Под дизайном эксперимента мы понимаем абсолютно все-все-все параметры того, что и когда мы будем делать в его рамках: время действия, даты коммуникаций, тип воздействия и т.п. Если говорить более конкретно:

• Выбираем измерения эксперимента: время действия промо, время коммуникации, тип воздействия, стоимость воздействия, тип игровой механики и т.д.;
• Описываем сборку сегментов;
• Детально описываем механику промо;
• Определяем количество целевых групп;
• Создаем график отправки сообщений и публикации материалов;
• Определяем срок измерения результатов.

И вот только после всех этих этапов подготовки можно уже переходить непосредственно к запуску нашей промокампании.

Запуск кампании

Все планы построены, тексты написаны, письма сверстаны, пуши готовы улетать… Жмем на кнопку и запускаем!

Не станем подробно останавливаться на этом этапе, скажем лишь, что его содержание, каналы и т.п. будут варьироваться от кейса к кейсу, от бизнеса к бизнесу. Куда больший интерес представляет следующий этап – анализ результата.

Анализ результатов и выводы

После завершения у нас есть несколько вариантов того, как мы будем оценивать его результаты.

Например мы можем просто посмотреть на абсолютные величины, чтобы понять, был ли эксперимент в целом удачным или нет. Для этого просто сравниваем показатели экспериментальной и контрольной группы, получая общий результат. Как, например, на графике ниже.

Но нам же этого мало. Как вы помните, на этапе создания дизайна эксперимента мы создавали несколько вариантов длительности воздействия, количества баллов и т.п. А значит, помимо простых показателей роста мы еще можем понять:

1. Акции какой длителиности работают лучше?
2. Сколько баллов и каким клиентам выгодно дарить?
3. Имеет ли значение день отправки дополнительных коммуникаций?
4. Стоит ли инвестировать в оттоковых клиентов, которые приносили больше прибыли в прошлом?
5. Сработают ли тестируемые драйверы на частоту потребления у клиентов из активного сегмента?
6. Какие подсегменты дали максимальный, минимальный и нулевой эффект?

Это лишь часть вопросов, на которые может нам дать ответ эксперимент. Сколько измерений вы изначально “зашьете” в дизайн эксперимента – столько значимых статистических результатов вы сможете получить.

Если говорить про наш пример, то мы можем увидеть такие результаты и сделать выводы:

Важный момент

Самое главное в экспериментах – не делать ошибочных выводов. Не всегда примерно одинаковый рост 2 показателей будет взаимосвязан, даже если степень их корреляции достигает 90%. Поясню.

На картинке ниже 2 примера, в которых какие-либо показатели демонстрировали удивительную корреляцию, но при этом абсолютно не были связаны друг с другом.

Как не связаны пользователи Фейсбука и госдолг Греции, так же и рост числа посетителей вашего магазина может быть не связан с тем, что у вас стали чуть ниже цены. Может быть просто закрылся популярный конкурент в паре кварталов от вас, либо произошло еще что-то в жизни новых посетителей. Невозможно понять причину поведения каждого клиента, поэтому мы можем выделить главные принципы экспериментального подхода:

Ну и в конце

Эксперименты в идеале не должны быть одноразовой интересной штукой в вашем маркетинге. Это постоянный процесс, когда из результатов одного эксперимента вытекает сразу несколько вопросов и гипотез для следующего. Это безостановочный цикл работ, где мы берем каждый раз лучший результат, автоматизируем его и начинаем сначала, только уже с другими вопросами.

Да, это достаточно сложный и трудоёмкий процесс, но именно на нем пока и находится наивысшая точка тестирования в маркетинге. Начинать надо, конечно, с чего-то попроще вроде стандартного А/Б-тестирования в письмах, но надо и понимать, куда двигаться дальше.

Пусть у вас всё получится! Если что – пишите, задавайте вопросы.

Источник