A/B-тестирование за 5 шагов: улучшаем продукт и экономим ресурсы

Что такое A/B-тестирование

A/B-тестирование — метод маркетингового исследования, который заключается в сравнении двух вариантов одного элемента. Он помогает понять, в какой степени и как именно внесенные изменения влияют на целевые показатели. Например, A/B-тестирование позволяет оценить эффективность различных вариантов баннеров, кнопок или даже оформления страниц сайта. Это особенно важно при оптимизации пользовательского опыта и повышении конверсии.

Допустим, у вас есть сайт. Помимо обычного виджета для сбора лидов вы хотите использовать элемент геймификации — «Колесо фортуны». Как узнать, эффективнее ли он обычного баннера? Разделить аудиторию на контрольную и тестовую группы, создать две страницы и провести A/B-тестирование. Пользователи из каждой группы будут взаимодействовать с разными версиями сайта. В итоге эффективность одной из версий будет выше — значит, можно вносить изменения на весь сайт.

Это реальная история, так мы тестировали гипотезы для партнера kassir.ru. Чтобы понять и оценить эффективность «Колеса фортуны», мы сравнили перфоманс классической формы для сбора лидов с геймифицированным виджетом. Вот что выяснили:

— конверсия классического виджета — 0,07% — 1%;

— конверсия «Колеса Фортуны» — 5,53 — 8,45%.

A/B-тестирование показало, что геймифицированный виджет в несколько раз превосходит по эффективности традиционную форму сбора лидов.

Читайте также: Как использовать on-site-персонализацию для увеличения продаж. Кейс Kassir.ru

Зачем нужно A/B-тестирование

A/B-тестирование можно использовать для оценки любого элемента маркетинга, например, email-рассылки, баннера, пуш-уведомления. С помощью A/B-тестирования строят и проверяют гипотезы, чтобы внести наиболее эффективное изменение, а в итоге:

— скорректировать метрики;

— nулучшить юзабилити;

— увеличить конверсию с минимальными рисками.

Как провести A/B-тестирование

1. Сформулировать задачи тестирования

Обычно A/B-тестирование проводится, чтобы улучшить показатели интернет-ресурса:

— вырастить трафик;

— увеличить конверсию в целевое действие;

— снизить количество отказов и так далее.

Заранее определите, какой результат вы хотите получить после изменений. В зависимости от цели получится выбрать метрики.

2. Определить метрики результатов

Метрики — количественные показатели, по которым вы оцените целесообразность изменений. Если вы постоянно работаете с ресурсом, то, скорее всего, уже знаете фокусные метрики, к которым хотите стремиться. Это может быть количество заказов или средний чек покупателя, процент открытых писем в рассылке или ежемесячный охват.

3. Разработать гипотезу

Гипотеза — это предположение, которое вы проверяете в ходе A/B-тестирования. Например, вы дизайнер и работаете над увеличением конверсии лендинга. Гипотеза перед тестом может звучать так: «Изменение местоположения кнопки „Купить“ увеличит количество покупок».

Чаще всего такие гипотезы рождаются из данных, общения с пользователями, результатов опросов и анализа конкурентов. Во Flocktory мы пользуемся всеми перечисленными, а каждую новую гипотезу заносим в бэклог.

4. Подготовить и провести эксперимент

Чтобы получить корректные результаты, нужно тщательно подготовить эксперимент. A/B-тестирование требует создания двух версий продукта (A и B), рандомизации выборки и определения контрольной и экспериментальной групп. Убедитесь, что экспериментальные условия одинаковы для обеих групп, чтобы получить точные результаты:

— Создать новую версию элемента / ресурса для тестирования.

— Определить контрольную и экспериментальную группы. Группу, которая увидит первую версию А, называют контрольной. Группу, которая увидит вторую версию, — экспериментальной. Эти группы должны быть одного размера.

— Рандомизировать исследование. Важно, чтобы пользователи видели версии А и B в случайном порядке, и шанс получить ту или иную версию был равным.

— Просчитать минимальный размер выборки. Это можно сделать вручную или с помощью специальных сервисов, например Abtasty или Optimizely.

— Определить период тестирования. Возьмите общий размер выборки, необходимый для тестирования каждой версии, и разделите его на ежедневный трафик. Так вы получите количество дней, необходимых для проведения теста.

Читайте также: CDP (Customer Data Platform) — чем могут быть полезны, какие бывают, как выбрать и внедрить

5. Сделать выводы

Когда A/B-тестирование подойдет к концу, нужно обобщить и проанализировать данные. В первую очередь стоит рассчитать значение выбранной метрики для каждой версии, а затем — разницу между этими значениями. В итоге вы получите один из трех результатов:

— Вторая версия B выигрывает. Значит, вы хорошо поработали: новый вариант эффективнее предыдущего.

— Изначальная версия А выигрывает или не дает значительного прироста метрик. Это значит, что новая версия работает хуже, чем ожидалось — нужно понять, почему, на основе этих данных доработать версию B и провести повторное исследование.

— Между А и B нет значительной разницы.

Во втором и третьем случае в данных может быть подвох. Например, глобальное изменение цвета кнопки не повлияло на конверсию в заявку, но люди в возрасте от 35 до 44 лет стали чаще кликать на нее и оставлять заявку. Вывод: аудиторию можно сегментировать не только по возрасту, но и по географическим параметрам, типу устройства, полу, источнику трафика и так далее.

Резюме

1. A/B-тестирование — способ проверить маркетинговые гипотезы с минимальными рисками и затратами.

2. A/B-тестирование помогает сократить ресурсы на работу с digital-элементами и при этом сделать их кратно эффективнее.

3. В результате A/B-тестирования можно провести изменения на сайте или в приложении, которые значительно улучшат бизнес-показатели компании:

— увеличат конверсию в целевое действия;

— увеличат средний чек;

— оптимизируют путь пользователя по всей воронке и так далее.

Если вы хотите, чтобы пользователи чаще совершали целевые действия на сайте, подключите модуль A/B-тестирования Flocktory. Мы поможем сформулировать гипотезы, запустим тестирование и оптимизируем сайт по результатам теста — для этого вам даже не понадобится своя команда.