Top.Mail.Ru
Меню
Как пользоваться калькулятором достоверности A/B-теста
Инструкция по использованию калькулятора для анализа платного трафика
Зачем это вообще нужно

Вы запустили два объявления. Одно принесло конверсию 4%, второе — 6%. Кажется, второе лучше — масштабируй и радуйся. Но подождите: а вдруг эти 2% — просто удача? Может, алгоритм показал второе объявление более тёплой аудитории, или выборка слишком маленькая, чтобы делать выводы?

Калькулятор отвечает на один вопрос: можно ли доверять разнице между кампаниями, или нужно собрать больше данных.
Шаг 1. Введите данные кампаний

Каждая кампания — отдельная карточка. По умолчанию их две (A и B), но кнопкой «+ Добавить вариант» можно добавить C, D и так далее — удобно, если тестируете сразу несколько креативов или аудиторий.

Что заполнять:
  • Бюджет — сколько потрачено на кампанию в рублях. Можно не заполнять, если хотите сравнивать только по конверсии без учёта стоимости.
  • Показы — сколько раз объявление было показано.
  • Клики — сколько раз кликнули.
  • Конверсии — целевые действия: заявки, покупки, регистрации — то, что вы считаете результатом.
Под каждой карточкой сразу считаются CTR, CR, CPC и CPA — смотрите в режиме реального времени, как меняются метрики при вводе данных.

Пример. Вы тестируете два объявления во ВКонтакте на одну аудиторию. Объявление A: бюджет 15 000 ₽, 80 000 показов, 400 кликов, 20 заявок. Объявление B: бюджет 15 000 ₽, 75 000 показов, 600 кликов, 18 заявок. На первый взгляд B кликабельнее — но CPA у A ниже (750 ₽ против 833 ₽). Калькулятор покажет, случайна ли эта разница.
Шаг 2. Выберите метод анализа

Результаты отображаются в двух вкладках — выбирайте в зависимости от ситуации.
Метод 1 — Оценка значимости по CPAЭто основной метод. Он использует Z-тест и отвечает на вопрос: достоверна ли разница статистически?
Победитель здесь определяется по приоритету: сначала CPA (кто дешевле приводит клиента), затем количество конверсий, затем CR. Это бизнес-логика, а не просто математика.

Важное ограничение: для вывода нужно минимум 30 кликов на каждый вариант. Если данных меньше — калькулятор честно скажет, что делать выводы рано, и покажет текущего лидера с пометкой «не подтверждено».
Уровень достоверности отображается в процентах:
  • 95% и выше — можно принимать решение
  • 90–95% — стоит подождать ещё немного
  • Ниже 90% — данных недостаточно, продолжайте тест

Кейс. Директолог тестирует два варианта посадочной страницы через Яндекс.Директ. После двух недель: страница A — 150 кликов, 12 конверсий, CPA 1 250 ₽. Страница B — 140 кликов, 7 конверсий, CPA 2 140 ₽. Калькулятор показывает достоверность 91% — разница есть, но на грани. Директолог решает подождать ещё неделю, чтобы перейти порог в 95%, и только потом отключает B.

Метод 2 — Взвешенный скоринг

Полезен, когда данных ещё мало или вы хотите быстро сравнить несколько кампаний без ожидания статистической значимости. Каждая кампания получает балл от 0 до 100 на основе четырёх метрик с разными весами: CPA (40%), конверсии (30%), CR (20%), CTR (10%).

Используйте этот метод как ориентир на старте теста — чтобы понять, в каком направлении двигаться, пока данных ещё недостаточно для Z-теста.

Кейс. Таргетолог запустил три аудитории в первый день. У каждой по 10–15 кликов — статистики нет. Скоринг показывает, что аудитория C набирает 78 баллов против 45 у A и 51 у B. Это сигнал: стоит перераспределить бюджет в сторону C и продолжить наблюдение.
Частые вопросы

Можно ли сравнивать кампании с разным бюджетом? Да. Калькулятор корректно считает CPA и CR независимо от размера бюджета. Главное — сопоставимый период показа и одна целевая аудитория.
Что делать, если нет данных по бюджету? Просто не заполняйте поле. Тогда CPA не будет рассчитан, и победитель определится по количеству конверсий и CR. Взвешенный скоринг автоматически перераспределит веса.
Сколько вариантов можно сравнивать? До десяти. Калькулятор автоматически сравнивает все пары между собой.