A/B-тестирование email-рассылок: как проводить тесты и не ошибаться в выводах

Маркетолог подготовил две темы письма:

А. «Скидка 20% только до воскресенья»

Б. «Для вас скидка 20%, успейте до воскресенья»

Первая получила Open Rate 26,4%, вторая 28,1%. Вариант Б победил?

Пока неизвестно. Без числа получателей эти проценты мало что доказывают. На маленьких группах разница могла появиться случайно. А если цель письма состояла в продажах, открываемость вообще не отвечает на главный вопрос.

A/B-тест полезен, когда до отправки определены гипотеза, критерий победы и объём данных. Иначе он превращается в способ выбрать самое большое число в отчёте.

Что такое A/B-тестирование email-рассылок

Одну аудиторию случайно делят на сопоставимые группы. Каждая получает свой вариант письма, после чего результаты сравнивают по показателю, выбранному заранее. Различаться может одна деталь или целая концепция, но вывод должен точно соответствовать устройству теста.

Если изменились тема, прехедер, оффер, дизайн и кнопка, результат покажет лишь то, какая версия письма сработала лучше целиком. Приписать разницу красной кнопке или короткому тексту уже нельзя.

Что можно тестировать

Выбор метрики начинается с простого вопроса: на какое действие должно повлиять изменение?

• Тема и прехедер. Основной ориентир: Open Rate. Примеры: конкретная выгода против общей формулировки, срочность против нейтральной подачи, короткая тема против подробной.
• Персонализация. Смотрите на метрику того этапа, где ожидаете эффект: открытия, клики или конверсию. Сама подстановка имени ещё не делает гипотезу полезной. О способах настройки есть отдельный материал про персонализацию email-рассылок.
• Оффер и размер скидки. Подходят CTR, заявки, покупки и выручка. Открываемость здесь вторична: получатель видит предложение уже внутри письма.
• CTA, содержание, длина и формат подачи. Обычно сравнивают клики и целевые действия после перехода.
• Время отправки. Метрика зависит от цели рассылки. Важно менять только время, не смешивая его с другим днём недели, сегментом или новым предложением.

Несколько коротких гипотез для ориентира:

• «Сэкономьте 20% на годовом тарифе» даст больше открытий, чем «Скидка на годовой тариф».
• Указание срока акции в теме повысит Open Rate проморассылки.
• Прехедер с условием бесплатной доставки даст больше открытий, чем повтор темы.
• Тема с конкретной выгодой сработает лучше обращения «Иван, для вас есть специальное предложение».
• Кнопка «Получить расчёт» даст больше заявок, чем «Узнать подробнее».
• Короткое письмо с одним товаром принесёт больше покупок, чем подборка из десяти позиций.

Встроенный A/B-тест RuSender проверяет темы и прехедеры. Для дизайна, CTA, оффера или времени отправки понадобятся отдельные рассылки с аккуратным разделением аудитории.

Как сформулировать гипотезу и выбрать метрику

Рабочая гипотеза связывает изменение с ожидаемым эффектом и аудиторией. Например: «Конкретная выгода в теме увеличит долю открытий среди покупателей, которые делали заказ в последние три месяца».

Перед запуском запишите пять пунктов:

1. Что меняем.
2. Для какого сегмента. Если аудитории сильно различаются, сначала разберитесь с сегментацией базы.
3. Какой эффект ожидаем.
4. Какой метрикой измеряем результат.
5. Что сделаем, если гипотеза подтвердится или не подтвердится.

Метрика должна находиться там, где срабатывает изменение: тема влияет на открытие, CTA на клик, предложение на конверсию, коммерческая механика на покупки или выручку. Определения и формулы для показателей собраны в материалах про Open Rate и CTR.

Высокая открываемость сама по себе не гарантирует успешную рассылку. Тема может вызвать любопытство, но не оправдать обещание. Тогда открытий станет больше, а кликов и продаж нет. При бизнес-решении полезно смотреть дальше по воронке: на CTR, заявки, покупки и выручку.

У Open Rate есть ещё одно ограничение. Почтовые приложения могут загружать пиксель отслеживания автоматически. Например, Apple Mail Privacy Protection подгружает удалённый контент в фоне независимо от чтения письма. Поэтому Open Rate остаётся полезным сравнительным ориентиром для тем и прехедеров, особенно при одновременной отправке группам из одной базы, но не служит точным счётчиком прочтений.

Сколько получателей нужно для теста

Универсального числа нет. Необходимая выборка зависит от исходного значения метрики, минимального эффекта, числа вариантов и требуемой уверенности. Проще говоря: чем меньшую разницу вы хотите заметить, тем больше получателей понадобится.

Для ориентира возьмём стандартное планирование с доверительным уровнем 95% и статистической мощностью 80%. Чтобы отличить Open Rate 20% от 22%, потребуется примерно 6500 получателей на каждый вариант. Для разницы между 20% и 25% достаточно примерно 1100 на вариант. Это ориентиры для сравнения двух независимых долей, а не готовое правило для любой базы.

Статистическая значимость означает, что наблюдаемую разницу трудно объяснить одной случайностью при принятых условиях расчёта. Она не отвечает на вопрос о выгоде для бизнеса. Рост Open Rate с 20,0% до 20,2% на огромной базе может быть статистически убедительным, но не стоить затрат на изменение процесса.

Долю базы определяют от нужного числа наблюдений, а не от привычных «10%». Допустим, в базе 50 000 контактов, а расчёт требует по 4000 адресов на вариант. Тесту нужны 8000 контактов, или 16% базы. Оставшиеся 42 000 получат победившую тему. Группы набирают случайно из одной подходящей аудитории: деление «новые клиенты в А, постоянные в Б» сравнит сегменты, а не письма.

Если база мала, выбирайте контрастные гипотезы с потенциально крупным эффектом. Замена одного синонима в теме, скорее всего, утонет в шуме.

Как A/B-тестирование работает в RuSender

В RuSender можно сравнить до пяти вариантов тем и прехедеров. Пользователь выбирает долю базы для теста, сервис поровну распределяет её между вариантами и собирает статистику. Победитель не назначается автоматически: после накопления данных его выбирают вручную и запускают досылку оставшейся части базы.

Технический минимум составляет 20 получателей. Это условие запуска, а не достаточная выборка для вывода о поведении аудитории.

Пошаговую настройку интерфейса здесь не повторяем. Она уже разобрана в инструкции «Как создать и провести A/B-тест». В этой статье сосредоточимся на подготовке теста и чтении результата.

Как определить победителя

Срок ожидания и правило выбора задают до запуска. Для открытий обычной рассылки это может быть 24 часа, для покупки 72 часа, если клиенты редко оформляют заказ сразу. В начале отчёта один дополнительный клик способен поменять лидера, поэтому принимать решение при первом преимуществе опасно.

Для проверки результата нужны сырые числа: сколько писем доставлено и сколько целевых действий совершено в каждой группе. Одних округлённых процентов недостаточно. Разница между 26,4% и 28,1% составляет 1,7 процентного пункта, а относительный прирост равен примерно 6,4%. Эти записи нельзя смешивать.

Победителя может не быть. Формулировка «на доступной выборке значимой разницы не обнаружено» вполне корректна. Возможно, варианты работают одинаково или эффект слишком мал для текущей базы. Общую картину по кликам, переходам и целевым действиям удобнее разбирать вместе с аналитикой email-рассылок.

Пример A/B-теста от гипотезы до результата

У магазина 40 000 активных подписчиков. Гипотеза: тема с конкретной выгодой повысит Open Rate. Вариант А: «Скидка на годовой тариф». Вариант Б: «Сэкономьте 20% на годовом тарифе».

На тест отправили 8000 контактов, по 4000 на вариант. Через заранее выбранные 24 часа вариант А получил 1056 открытий, или 26,4%, вариант Б 1124 открытия, или 28,1%. Затем маркетолог проверил разницу по сырым числам, посмотрел CTR, отписки и жалобы. Просадки по защитным метрикам не было, а расчёт подтвердил, что данных достаточно по принятому правилу.

Вариант Б отправили оставшимся 32 000 подписчиков. В журнале тестов сохранили не правило «конкретика всегда побеждает», а более узкий вывод: в этой проморассылке для активных подписчиков тема с экономией в рублях и процентах сработала лучше общей темы. Следующая похожая кампания покажет, повторяется ли эффект.

Семь ошибок при A/B-тестировании рассылок

1. Тестировать несколько изменений и называть одну причину. Такой эксперимент сравнивает две концепции, но не доказывает эффект отдельной детали.
2. Делать вывод по слишком маленькой выборке. Техническая возможность запустить тест ещё не означает, что данных хватит для надёжного решения.
3. Менять основную метрику после отправки. Если Open Rate не вырос, легко найти случайный плюс в CTR. Критерий победы выбирают заранее.
4. Останавливать тест слишком рано. Ранний лидер может смениться. Дождитесь установленного срока и объёма данных.
5. Сравнивать разные по составу группы. Аудитории должны отличаться вариантом письма, а не типом клиентов или условиями отправки.
6. Считать статистическую значимость достаточной. Убедительная разница может быть слишком мала, чтобы менять процесс или окупить работу.
7. Не сохранять результат. Записывайте гипотезу, варианты, аудиторию, дату, метрику, сырые числа и решение. Так единичная победа не превратится в вечное правило.

Короткий чек-лист перед запуском

• Сформулированы изменение, аудитория и ожидаемый эффект.
• Основная метрика соответствует месту изменения в воронке.
• Рассчитаны выборка и доля базы.
• Группы формируются случайно из одной аудитории.
• Заранее определены срок ожидания и правило выбора.
• Понятно, что делать при победе, проигрыше и отсутствии разницы.
• В журнал тестов попадут сырые числа и практический вывод.

Хороший тест не обязан выдавать победителя. Иногда полезный результат умещается в короткой записи: «разницы не обнаружено, гипотезу не переносим». Это надёжнее случайного перевеса, который затем становится правилом для всех следующих рассылок.

Дата публикации: 17 сентября 2026