A/B-тестирование за 5 шагов: улучшаем продукт и экономим ресурсы

Что такое A/B-тестирование

A/B-тестирование — метод маркетингового исследования, который заключается в сравнении двух вариантов одного элемента. Он помогает понять, в какой степени и как именно внесенные изменения влияют на целевые показатели.

Допустим, у вас есть сайт. Помимо обычного виджета для сбора лидов вы хотите использовать элемент геймификации — «Колесо фортуны». Как узнать, эффективнее ли он обычного баннера? Разделить аудиторию на контрольную и тестовую группы, создать две страницы и проверить. Пользователи из каждой группы будут взаимодействовать с разными версиями сайта. В итоге эффективность одной из версий будет выше — значит, можно вносить изменения на весь сайт.

Это реальная история, так мы тестировали гипотезы для партнера kassir.ru. Чтобы понять и оценить эффективность «Колеса фортуны», мы сравнили перфоманс классической формы для сбора лидов с геймифицированным виджетом. Вот что выяснили:

конверсия классического виджета — 0,07 % — 1 %;
конверсия «Колеса Фортуны» — 5,53 — 8,45 %.

Зачем нужно A/B-тестирование

A/B-тестирование можно использовать для оценки любого элемента маркетинга, например, email-рассылки, баннера, пуш-уведомления. С помощью A/B-тестирования строят и проверяют гипотезы, чтобы внести наиболее эффективное изменение, а в итоге:

скорректировать метрики;
улучшить юзабилити;
увеличить конверсию с минимальными рисками.

В начале 2023 года «Альфа-Банк» улучшил предложение на витрине подарков Exchange: беспроцентный период по новой кредитке увеличился до 365 дней. Коллеги из «Альфа-Банка» предложили переименовать акцию в «Год без процентов».

Очевидно, что такое изменение повысит популярность предложения и прокачает все шаги в воронке. Однако когда есть возможность тестировать много гипотез, появляется ресурс даже для таких мелких вопросов, как «написать „Год без процентов“ или „365 дней без процентов“?».

Мы проверили гипотезу и выяснили, что второй вариант приносит на 10% больше заказов — это десятки тысяч новых клиентов в год.

Данила Епишин, Head of Performance Products в команде Flocktory

Как провести A/B-тестирование

1. Сформулировать задачи тестирования

Обычно A/B-тестирование проводится, чтобы улучшить показатели интернет-ресурса:

вырастить трафик;
увеличить конверсию в целевое действие;
снизить количество отказов и так далее.

Заранее определите, какой результат вы хотите получить после изменений. В зависимости от цели получится выбрать метрики.

2. Определить метрики результатов

Метрики — количественные показатели, по которым вы оцените целесообразность изменений. Если вы постоянно работаете с ресурсом, то, скорее всего, уже знаете фокусные метрики, к которым хотите стремиться. Это может быть количество заказов или средний чек покупателя, процент открытых писем в рассылке или ежемесячный охват.

29.02.2024.4.png

3. Разработать гипотезу

Гипотеза — это предположение, которое вы проверяете в ходе A/B-тестирования. Например, вы дизайнер и работаете над увеличением конверсии лендинга. Гипотеза перед тестом может звучать так: «Изменение местоположения кнопки “Купить” увеличит количество покупок».

Чаще всего такие гипотезы рождаются из данных, общения с пользователями, результатов опросов и анализа конкурентов. Во Flocktory мы пользуемся всеми перечисленными, а каждую новую гипотезу заносим в бэклог.

Первое правило: каждая гипотеза должна быть конкретной и работать с единственным изменением. Например, тестируем новое изображение, но в нем меняется целиком и дизайн, и текст. Такой эксперимент покажет, как хуже или лучше работает это сочетание изменений в совокупности, но будет непонятно, что стало ключевым фактором: оформление или сообщение.

Второе: изменение должно влиять на конкретную метрику. В таких ситуациях можно смотреть на все метрики подряд и пытаться делать какие-то выводы. Это сравнимо с ситуацией, когда корабль в дрейфе причаливает к острову, но команда не знает, хорошо ли это. Такая работа бессистемна.

Третье: гипотеза должна быть релевантна продукту прямо сейчас. Если понимаете, что ваш онлайн-сервис по какой-то конверсионной метрике в три раза отстает от конкурентов, то нет смысла тестировать мелкие гипотезы и заниматься тонкой настройкой типа улучшения кнопок. Стоит подняться на уровень выше: переосмыслить CJM, изменить структуру информации на целевой странице и т. п.

Данила Епишин, Head of Performance Products в команде Flocktory

4. Подготовить и провести эксперимент

Чтобы получить корректные результаты, нужно тщательно подготовить эксперимент.

Создать новую версию элемента / ресурса для тестирования.
Определить контрольную и экспериментальную группы. Группу, которая увидит первую версию А, называют контрольной. Группу, которая увидит вторую версию, — экспериментальной. Эти группы должны быть одного размера.
Рандомизировать исследование. Важно, чтобы пользователи видели версии А и B в случайном порядке, и шанс получить ту или иную версию был равным.
Просчитать минимальный размер выборки. Это можно сделать вручную или с помощью специальных сервисов, например Abtasty или Optimizely.
Определить период тестирования. Возьмите общий размер выборки, необходимый для тестирования каждой версии, и разделите его на ежедневный трафик. Так вы получите количество дней, необходимых для проведения теста.

5. Сделать выводы

Когда A/B-тестирование подойдет к концу, нужно обобщить и проанализировать данные. В первую очередь стоит рассчитать значение выбранной метрики для каждой версии, а затем — разницу между этими значениями. В итоге вы получите один из трех результатов:

Вторая версия B выигрывает. Значит, вы хорошо поработали: новый вариант эффективнее предыдущего.
Изначальная версия А выигрывает или не дает значительного прироста метрик. Это значит, что новая версия работает хуже, чем ожидалось — нужно понять, почему, на основе этих данных доработать версию B и провести повторное исследование.
Между А и B нет значительной разницы.

Во втором и третьем случае в данных может быть подвох. Например, глобальное изменение цвета кнопки не повлияло на конверсию в заявку, но люди в возрасте от 35 до 44 лет стали чаще кликать на нее и оставлять заявку. Вывод: аудиторию можно сегментировать не только по возрасту, но и по географическим параметрам, типу устройства, полу, источнику трафика и так далее.

Грамотно сформулированная гипотеза сразу предполагает, какие выводы из каких метрик предстоит сделать и какое решение принять. Она может подтвердиться с дальнейшей имплементацией в продукт, а может быть опровергнута. Это тоже хороший результат, это новые знания, хоть и не влияющие на метрики. Иногда можно получить промежуточный результат, когда, допустим, мы вырастили одну метрику, но по целевой не было изменений или вырастили целевую метрику, но уронили какие-то проверочные. В этих случаях мы думаем, как изменить эксперимент или гипотезу, либо добавляем больше вариаций. Последнее делается для того, чтобы реализовать потенциал гипотезы, если он в ней есть по итогам теста.

Данила Епишин, Head of Performance Products в команде Flocktory

Резюме

A/B-тестирование — способ проверить маркетинговые гипотезы с минимальными рисками и затратами.
A/B-тестирование помогает сократить ресурсы на работу с digital-элементами и при этом сделать их кратно эффективнее.
В результате A/B-тестирования можно провести изменения на сайте или в приложении, которые значительно улучшат бизнес-показатели компании:

увеличат конверсию в целевое действия;
увеличат средний чек;
оптимизируют путь пользователя по всей воронке и так далее.

Если вы хотите, чтобы пользователи чаще совершали целевые действия на сайте, подключите модуль A/B-тестирования Flocktory. Мы поможем сформулировать гипотезы, запустим тестирование и оптимизируем сайт по результатам теста — для этого вам даже не понадобится своя команда.

Росса Бланк ,
29.02.2024