Top.Mail.Ru
Меню
Калькулятор достоверности A/B теста
📊 A/B Testing

Калькулятор достоверности
A/B теста

Узнайте, можно ли доверять результатам ваших рекламных кампаний или нужно подождать.

Введите данные кампаний. Победитель определяется по CPA при минимальной выборке 30 кликов.

Введите данные кампаний. Каждая кампания получит взвешенный балл по нескольким метрикам.

Как работает оценка по CPA?

Мы используем Z-тест для пропорций — классический статистический метод, который проверяет, не является ли разница в конверсии между двумя кампаниями случайной. В основе — сравнение CR с учётом объёма выборки.

z =  p̂₁ − p̂₂ √(p̂·(1−p̂)·(1/n₁ + 1/n₂))

p̂₁, p̂₂ — конверсия (CR) вариантов; — объединённая конверсия; n₁, n₂ — количество кликов.

≥ 95% — достоверно
90–95% — требует проверки
< 90% — нужно больше данных

Почему победитель определяется по CPA, а не по CR? CR не учитывает стоимость клика. Кампания с высоким CR, но дорогим трафиком может обходиться дороже, чем кампания с низким CR и дешёвыми кликами. CPA — итоговая метрика, которая учитывает и качество трафика, и его цену.

Порог выборки — 30 кликов. Z-тест математически работает при любом n, но при малых выборках результат ненадёжен: одна случайная конверсия может исказить CR. Поэтому победитель не объявляется, пока у варианта меньше 30 кликов.

Приоритет метрик: 1 — CPA (если введён бюджет); 2 — количество конверсий; 3 — CR.

Как работает взвешенный скоринг?

Взвешенный скоринг не требует статистической значимости и работает даже на малых выборках. Каждая кампания получает итоговый балл от 0 до 100 на основе нескольких нормализованных метрик с разным весом.

МетрикаВесЛогика
CPA (стоимость конверсии)40%Ключевая бизнес-метрика. Ниже = лучше. Если бюджет не введён — вес перераспределяется.
Количество конверсий30%Абсолютный объём результата. Больше = лучше. Нивелирует «пустые» высокие CR.
CR (конверсия из клика)20%Качество трафика. Выше = лучше.
CTR (кликабельность)10%Привлекательность объявления. Выше = лучше. Если показы не введены — не учитывается.
Score = 0.4 · norm(CPAinv) + 0.3 · norm(Conv) + 0.2 · norm(CR) + 0.1 · norm(CTR)
norm(CPAinv) = min(CPA) / CPA; остальные = значение / max по всем вариантам

Когда использовать? Когда данных ещё мало (< 30 кликов), нужно быстро сравнить несколько кампаний, или как дополнительная проверка к Z-тесту.

⚠️ Важно: скоринг — это ориентир, а не статистическое доказательство. При достаточных данных используйте Метод 1.