, , ,

Кейс “Как мы искали идеальное персональное время отправки письма”

vremya-x

Сегодня поговорим о возможности автоматического подбора системой времени отправки рассылок каждому отдельно взятому пользователю, в зависимости от того, в какое время этот пользователь в прошлом наиболее часто открывал ваши письма.

Один очень любимый нами клиент обратился к нам с вопросом «А что если нам это настроить?». Мы не стали его отговаривать, а предложили провести тест.

Этап 1: Выбор «подопытных» – формирование тестовой и контрольной групп

Тестовую и контрольную группы мы решили сформировать из подписчиков, для которых за последние 6 месяцев существует 3-х часовой интервал времени в рамках суток, в который укладываются 2/3 открытий писем.

Выбор осуществлялся среди тех, кто открыл не менее 2 писем за прошедший месяц и не менее 10 писем за последние 6 месяцев.

Уже результаты этого первого этапа вызвали у нас и у клиента сомнения в перспективности эксперимента (см. диаграмму ниже), но мы решили дойти до конца.

case-opens

Итого, из всех подписчиков, читавших письма за последние полгода, только 4,5% демонстрируют какое-то предпочтение по времени открытия  – 2 письма из 3-х  открывают в одном и том же трехчасовом интервале.

Тогда мы решили, что раз 95% активной части базы открывают письма относительно хаотично,  стоит посмотреть, улучшатся ли результаты, если тем 38 тысячам, которые имеют предпочтения, отправить рассылку в нужное время.

Этап 2: Проведение А/В теста

Итак, у нас есть 38 000 человек, если быть точными, то 38 285.

Эту группа была случайным образом разделена на 2 части, в результате чего получили:

  • сегмент А: 19180 контактов
  • сегмент В: 19105 контактов

Теперь, на всякий случай, проверим, достаточно ли выборки в 19000 контактов для проведения теста.

Исходные данные (для фанатов статистических расчетов):

  • средний open-rate массовых рассылок у этого клиента за последний месяц был около 24%;
  • значимым результатом для нас было бы увидеть увеличение этого показателя на 2% в тестовой группе по сравнению с контрольной;
  • доверительную вероятность принимаем равной 95%.

При помощи нехитрых вычислений (или статистического калькулятора) получаем минимально необходимый размер выборки 3220 человек. У нас – более чем достаточно.

Структура А/Б теста:

  • сегмент А (19180 контактов) – им была отправлена очередная рассылка примерно в обычное время, в данном случае в 12:00;
  • сегмент В (19105 контактов) – каждому из них та же самая рассылка была отправлена во время, определенное как «его среднее время открытия минус 30 минут, округленное до целого часа».

Тут следует заметить, что все было настроено с использованием стандартных средств нашей платформы, без каких-либо доработок.

В итоге у нас получился не А/В, а А/(В1..В24) тест.

Этап 3. «Посмотрели – прослезились»

results-ab

Статистически значимого различия мы здесь не наблюдаем, что, так же как и размер выборки, можно при желании проверить статистическими методами.

Вывод:

На примере достаточно крупного клиента мы убедились в том, что идея персонального выбора времени отправки рассылок для каждого получателя не работает. По крайней мере, для этого клиента.

Подавляющая часть получателей попросту не проявляет какого-то стабильного времени открытия писем; открытия, по большей части, распределяются внутри суток хаотично.

И даже когда удается обнаружить какое-то время, в которое пользователь более или менее регулярно открывает письма, отправка рассылки именно к этому времени не дает прироста в показателях.

 

0 replies

Leave a Reply

Want to join the discussion?
Feel free to contribute!

Leave a Reply