Что такое A/B-тестирования в маркетинге и как их проводить

В профессиональной жизни маркетолога есть всего два состояния:

• что-то работает, но не приносит результат — нужно сделать лучше;
• что-то работает, приносит результат, но все равно хочется сделать лучше.

И в том, и в другом специалист должен понимать, что же стоит усовершенствовать, и не окажется ли новая версия хуже предыдущей. Чтобы проверить свои теории, маркетологи используют сплит-тестирование или его частный случай — A/B-тестирование.

Что такое A/B-тестирование?

A/B-тестирование — это маркетинговый метод, который позволяет проверить эффективность гипотез, сравнить два элемента (если сравнивают больше двух, уже говорят о сплит-тестировании) и выбрать наиболее эффективный из них. Суть теста в том, что пользователи будут видеть разные варианты страниц, писем, объявлений и, соответственно, по разному на них реагировать. Побеждает в итоге вариант, который покажет лучшие результаты.

Тестировать и улучшать в маркетинге можно, пожалуй, что угодно.

На посадочной странице:

• разные варианты призыва к действию,
• формы сбора данных,
• иллюстрации,
• структуру страницы,
• контент.

В email-рассылках:

• темы письма и прехедер,
• время отправки письма,
• дизайн письма,
• разные форматы текстов,
• ссылки внутри письма,
• письма с разной степенью персонализации.

В поисковых объявлениях:

• заголовок и расширенный заголовок,
• текст объявления,
• название быстрых ссылок,
• уточнения,
• текст отображаемой ссылки,
• цены.

В рекламе в соцсетях:

• типы объявлений,
• тексты объявлений,
• призывы к действию,
• изображения.

Если варианты тестируемого можно перебирать бесконечно, то цель у сплит-тестов всегда одна — рост показателей: чаще всего конверсии (в идеале — больше продаж), но ещё кликабельности, открываемости и вовлечённости аудитории. Чтобы добиться любой из них, нужно правильно проводить A/B-тестирование.

Правила A/B-тестирования

1. Возьмите только одну переменную

Иногда так много всего хочется улучшить, что у маркетолога глаза разбегаются. Но совершенствовать всё сразу нельзя — так вы не поймёте, какое улучшение принесло результат. Поэтому для теста выбирайте только одну переменнцую и не начинайте следующий, пока не найдёте оптимальное решение по итогам первого.

Не забывайте, что переменная — это не всегда конкретный элемент: кнопка на сайте или баннер в письме. Тестировать можно и формат в целом. Например, мой коллега Павел Сербулов пробовал отправлять садоводам письма со стильным дизайном и письма в духе привычного садоводческого журнала. Нововведение не зашло, а вот стандартный формат принёс неплохие результаты, на нём и остановились.

2. Определитесь с показателем и способом оценки эксперимента

К сожалению, не все изменения напрямую влияют на рост продаж. Поэтому при выборе переменной точно определите, какой параметр вам нужно улучшить. Вряд ли для роста продаж вы начнёте менять размер шрифта в письме.

Если вы тестируете изменения на сайте, смотрите на показатели счётчиков веб-аналитики — изменение конверсии, улучшение поведенческих факторов.

Если сплит-тест касается рекламы, то результаты отслеживайте в отчётах рекламных систем (Яндекс.Директ, Google Ads). В первую очередь смотрим на CTR.

Результаты тестов в рассылках ищите в отчётах платформы, с которой работаете. Главные показатели — кликабельность и открываемость.

Сплит-тесты для рекламы в соцсетях можно отслеживать как из рекламного кабинета, так и с помощью сервисов аналитики на сайте. В рекламных кабинетах эта задача максимально облегчена — соцсети сами выставляют оценки рекламным объявлениям и определённые выводы можно сделать даже на их основе. Но для более глубокой аналитики, конечно, не обойтись без Яндекс.Метрики и Google Analytics.

3. Выберите инструмент

С технической точки зрения провести A/B-тестирование довольно просто: большинство систем заточены под такие эксперименты.

Например, для сравнения поисковых объявлений в Яндекс.Директе вам достаточно задать необходимые параметры, а система выберет, кому показать объявления. В Google Ads для этого есть специальный инструмент «Проекты и эксперименты».

Похожим образом обстоят дела в соцсетях: Фейсбук сам показывает разные варианты объявлений без наложения аудиторий друг на друга, а во ВКонтакте или Одноклассниках вам лишь нужно создать разные варианты объявлений и ограничить количество показов на одного человека.

Немного иначе это работает в емейл-платформах. Там вы также готовите разные варианты писем, но ещё и определяете объём аудитории, которая их получит. Это можно сделать вручную или автоматически. Чаще всего письма отправляют в два этапа: например, аудиторию делят на 25%, 25% и 50%, первым двум сегментам отправляют разные варианты писем, а оставшимся 50% отправляют письмо-победитель.

Сложнее всего проводить A/B-тестирование на сайте. Хотя и здесь есть вспомогательные инструменты. Например, сервис «Оптимизация» от Google. С его помощью можно тестировать разные элементы страниц, конверсионные кнопки, шрифты и формат заголовков, изображения и формы — для небольших сплит-тестов такого набора вполне достаточно, к тому же проверить результаты можно прямо в Google Analytics. Сервис бесплатный.

4. Выделите время

Сервисы зачастую сами ограничивают время эксперимента. Например, Фейсбук даёт на сплит-тестирование от 3 до 30 дней. Рекомендуемое количество — от 4 до 14. Тестирование дольше двух недель соцсеть считает сливом нерациональным использованием бюджета. «Google Оптимизация» не рекомендует тратить на сплит-тест меньше двух недель и больше трёх месяцев.

Но вообще, длительность A/B-теста стоит измерять не в днях, неделях или месяцах, а в пользователях. Даже есть мнение, что начинать эксперименты на сайте стоит только после достижения 1000 конверсий в месяц. Но с такими показателями многие их вообще никогда не начнут, поэтому мы советуем ориентироваться на показатель статистической значимости.

Статистическую значимость можно рассчитать по сложным формулам или просто воспользоваться калькулятором достоверности A/B-тестирования. Если спустя пару недель эксперимента вы вводите данные в калькулятор и видите сообщение: «Этот результат можно считать статистически значимым, A/B тест проведён успешно», — можете завершать эксперимент.

5. Не забывайте про победителя

Получать удовольствие от процесса это, конечно, хорошо, но в случае со сплит-тестами главное всё-таки результат. Так что после завершения эксперимента не забудьте внедрить на сайт, в письма или рекламу победившую гипотезу. И только после этого приступайте к следующему эксперименту.

А как вы проводите сплит-тестирования? Есть ли у вас какие-то хитрости, которыми вы хотите поделиться? Пишите в комментариях