Top.Mail.Ru
 
Калькулятор достоверности A/B теста
📊 A/B Testing

Калькулятор достоверности
A/B теста

Узнайте, можно ли доверять результатам ваших рекламных кампаний или нужно подождать.

⌛

Введите данные кампаний. Победитель определяется по CPA при минимальной выборке 30 кликов.

⌛

Введите данные кампаний. Каждая кампания получит взвешенный балл по нескольким метрикам.

Как работает оценка по CPA?

Мы используем Z-тест для пропорций — классический статистический метод, который проверяет, не является ли разница в конверсии между двумя кампаниями случайной. В основе — сравнение CR с учётом объёма выборки.

z =  p̂₁ − p̂₂ √(p̂·(1−p̂)·(1/n₁ + 1/n₂))

p̂₁, p̂₂ — конверсия (CR) вариантов; p̂ — объединённая конверсия; n₁, n₂ — количество кликов.

≥ 95% — достоверно
90–95% — требует проверки
< 90% — нужно больше данных

Почему победитель определяется по CPA, а не по CR? CR не учитывает стоимость клика. Кампания с высоким CR, но дорогим трафиком может обходиться дороже, чем кампания с низким CR и дешёвыми кликами. CPA — итоговая метрика, которая учитывает и качество трафика, и его цену.

Порог выборки — 30 кликов. Z-тест математически работает при любом n, но при малых выборках результат ненадёжен: одна случайная конверсия может исказить CR. Поэтому победитель не объявляется, пока у варианта меньше 30 кликов.

Приоритет метрик: 1 — CPA (если введён бюджет); 2 — количество конверсий; 3 — CR.

Как работает взвешенный скоринг?

Взвешенный скоринг не требует статистической значимости и работает даже на малых выборках. Каждая кампания получает итоговый балл от 0 до 100 на основе нескольких нормализованных метрик с разным весом.

МетрикаВесЛогика
CPA (стоимость конверсии)40%Ключевая бизнес-метрика. Ниже = лучше. Если бюджет не введён — вес перераспределяется.
Количество конверсий30%Абсолютный объём результата. Больше = лучше. Нивелирует «пустые» высокие CR.
CR (конверсия из клика)20%Качество трафика. Выше = лучше.
CTR (кликабельность)10%Привлекательность объявления. Выше = лучше. Если показы не введены — не учитывается.
Score = 0.4 · norm(CPAinv) + 0.3 · norm(Conv) + 0.2 · norm(CR) + 0.1 · norm(CTR)
norm(CPAinv) = min(CPA) / CPA; остальные = значение / max по всем вариантам

Когда использовать? Когда данных ещё мало (< 30 кликов), нужно быстро сравнить несколько кампаний, или как дополнительная проверка к Z-тесту.

⚠️ Важно: скоринг — это ориентир, а не статистическое доказательство. При достаточных данных используйте Метод 1.