План A/B-теста
Превращает идею «а давайте попробуем иначе» в план эксперимента: гипотеза, что именно меняем, чем меряем и когда останавливаемся.
Что делает
Превращает идею «а давайте попробуем иначе» в план эксперимента: формулирует гипотезу, отделяет одно изменение от нескольких, назначает главную метрику, объясняет, от чего зависит длительность, и задаёт правило остановки. Правило остановки — не формальность. Тест, который прекращают в день, когда цифры впервые понравились, почти всегда показывает случайное колебание. Договориться о сроке заранее дешевле, чем спорить о результате потом.
Когда пригодится
Внутри команды спор о двух вариантах, и решают его голосом самого настойчивого. Собираетесь менять важную страницу и хотите проверить, а не гадать. Прошлые тесты заканчивались спором о том, что считать результатом. Нужно объяснить руководству, почему проверка займёт столько времени.
Что подготовить
Понимание, что именно хотите улучшить, и описание нового варианта. Если знаете поток людей и нынешний уровень показателя — приготовьте и их: с этими данными разговор о длительности станет предметным. Не знаете — тоже нормально, инструмент скажет, что нужно посчитать.
Как заполнить
Что хотим улучшить Показатель, ради которого всё затевается: доля доходящих до оплаты, отклик на письмо, число заявок. Один показатель, а не список. Что предлагаем изменить Опишите новый вариант и чем он отличается от нынешнего. Если изменений несколько, так и напишите — инструмент разложит их на отдельные тесты и скажет, какой запускать первым. Где это будет Место эксперимента: страница тарифов, письмо, экран оформления заказа. От этого зависит, кто попадёт в выборку. Поток людей и текущие показатели Необязательное поле. Сколько человек проходит через это место в неделю и какой показатель сейчас. С этими цифрами разговор о сроке будет конкретным, без них инструмент назовёт, чего не хватает.
Что получится
Гипотеза с объяснением «потому что», перечень того, что меняем и что не трогаем, три группы метрик, разбор длительности, срок с правилом остановки, список того, что может испортить результат, и трактовка трёх возможных исходов, включая неубедительный.
Частые ошибки
Менять несколько вещей сразу. Тогда непонятно, что именно сработало. Инструмент такое предложение разложит на части. Ждать готового размера выборки. Он не знает ваших показателей и не станет подставлять числа: даст формулу словами и скажет, что посчитать. Гипотеза без «потому что». Без объяснения причины результат ничему не учит: непонятно, что пробовать дальше. Смотреть на цифры каждый день и остановиться на удачном. Ровно от этого и защищает правило остановки.
