A/A-тесты: что это и как их проводить

Мы постоянно работаем с A/B-тестами, но клиенты порой удивляются, когда мы заводим речь об A/A-тестах. Тем временем, в некоторых (пусть и немногих) случаях этот этап крайне важен, и без него результаты экспериментов могут утратить ценность.

Что означает

Представьте: вы подготовили эксперимент, оформили дизайн теста и готовы его запустить. Однако как убедиться в том, что на результаты влияет только то изменение, которую вы собрались проверять, а не, скажем, неравномерное распределение трафика на сайте или что-то еще? Как убедиться в том, что тестовая среда соответствует критериям проверяемости? Тут-то и пригодится A/A-тест.

A/A-тесты — это такие эксперименты, в которых сопоставляемые версии страницы или кампании идентичны между собой. Проведение таких тестов выявляет отклонения и технические проблемы, связанные с платформой. Работа над ними, в свою очередь, снижает вероятность ошибок в результатах A/B-тестов.

Иными словами, A/A-тесты делают экспериментальную среду контролируемой, выравнивают поле перед игрой.

Как проводить

При подготовке к A/A-тестам и их проведении важно соблюдать последовательность действий. В целом они почти не отличаются от алгоритма для A/B-тестов, но для закрепления мы их повторим.

1. Настраиваем эксперимент.
   На этой стадии определяем страницу, которую будем тестировать, выбираем оценочные метрики, задаем продолжительность теста и размер выборки, разбиваем ее на группы A и A’. Дальше система тестирования сама распределит трафик по этим вариациям.


2. Проводим тесты.
   В большинстве случаев эксперимент будет идти до тех пор, пока не наберется заданный объем выборки. Учтите это, когда составляете условия, чтобы не затягивать с получением результатов.


3. Собираем данные.
   В зависимости от задач будущих A/B-тестов, метрики могут варьироваться от MAU для сайта в целом до CTR по конкретному баннеру.


4. Проводим статанализ.
   Сравниваем результаты группы A и A’ между собой, ищем разницу между показателями. В отличие от A/B-тестов, в идеальном A/A-тесте все совпадает. Такой результат значит, что внешние факторы не влияют на метрику и система сплитования работает корректно. Если различия все же нашлись, необходимо оценить, как они могут затронуть будущие A/B-тесты, и, если необходимо, устранить их.


5. Записываем ход эксперимента и результаты.
   В будущем они позволят грамотнее настраивать как A/A-, так и A/B-тесты, а также избегать ошибок, которые привели к отклонениям.

Если A/A-тест прошел успешно, то есть не выявил разницы между контрольной и тестовой группами, можно смело приступать к A/B- тестированию. Его результаты позволят вашей команде принимать обоснованные решения.

Когда использовать

Проводить A/A-тесты перед каждым A/B-тестированием — сложно, долго и не всегда оправдано. Вот некоторые сценарии, в которых их применение логично.

Хотите узнать базовые значения перед A/B-тестами. Это поможет рассчитать длительность теста и объем выборки.

Обнаружили расхождение между результатами других тестов и данными аналитиков.

Запустили новую функцию или продукт. Успешные A/A-тесты дадут понять, что фича стабильна, то есть готова к A/B-тестам и дальнейшей проработке.

Сменили поставщика услуг A/B-тестирования. Чтобы оценить качество работы нового решения, стоит узнать, какие результаты ваши страницы и кампании показывают сейчас. Это также исключит возможность ложноположительных результатов.

Наше решение для A/B-тестов также отлично подходит для A/A-тестирования, так что вы сможете использовать его для любых сценариев.

Что дальше

Если вы не уверены, что справитесь с A/A-тестами самостоятельно или не хотите загружать свою команду аналитиков, мы готовы помочь. Наши специалисты сформулируют гипотезу, настроят и проведут эксперимент, а затем предоставят его результаты в доступной форме.

Оставьте заявку на A/B-тестирование Flocktory, чтобы повысить эффективность своего бизнеса.