A/B-тест (A/B test) — это эксперимент, в котором трафик делится примерно пополам между двумя версиями страницы или элемента, чтобы простыми словами понять, какой вариант приносит больше конверсий. Метод пришёл из медицинских испытаний начала XX века, а в digital его популяризировал Google в 2000 году, протестировав 41 оттенок синего для ссылок.
Сегодня A/B-тестирование — базовая практика продуктовой аналитики: его используют Booking, Netflix и Avito, запуская сотни параллельных экспериментов. Что это значит для бизнеса: решения по дизайну и копирайту опираются не на мнение, а на статистику с уровнем значимости p < 0.05.
§ 01Как считается
В основе A/B-теста — сравнение конверсии двух групп через статистический критерий: чаще всего z-тест для пропорций или критерий Стьюдента. Определение победителя требует достижения статистической значимости (обычно 95%) и достаточной мощности (80%). Для теста с базовой конверсией 3% и ожидаемым приростом 10% нужно около 30 000 посетителей на вариант — это легко посчитать в калькуляторе Evan Miller.
§ 02Зачем нужно
A/B-тестирование убирает споры дизайнеров и маркетологов: данные говорят сами. Microsoft через Bing нашла изменение заголовка рекламы, давшее +12% к доходу — эффект в сотни миллионов долларов в год. Что делает метод незаменимым: он проверяет гипотезы о цене, копирайте, CTA-кнопках и онбординге без риска полного редизайна. Зачем это среднему сайту — отсечь идеи, которые кажутся очевидными, но снижают выручку.
конверсия +18% — Интернет-магазин одежды на Shopify Plus тестировал две версии карточки товара: с видео-обзором (B) против статичных фото (A). За 4 недели на трафике 120k сессий конверсия в 'add to cart' выросла на 18%. Сплит и замер через Google Optimize + GA4.
регистрации +9% — B2B SaaS для HR с MRR $180k проверял два заголовка лендинга: проблемно-ориентированный (B) против фичевого (A). На 22k визитах за 6 недель регистрации на демо выросли на 9%. Сплит трафика 50/50 через VWO, значимость p<0.05.
§ 03Как измерить
Запуск A/B-теста делается через Google Optimize (закрыт в 2023), VWO, Optimizely или AB Tasty. Для продуктовой аналитики связку дополняют GA4, Amplitude и Mixpanel. Ключевые метрики: конверсия в целевое действие, ARPU, retention D7. Важно фиксировать одну primary-метрику и 2–3 guardrail-метрики (скорость загрузки, отказы), чтобы прирост одной не убил другую.
§ 04Что делать дальше
После сбора данных проверьте: достигнут ли минимальный размер выборки, нет ли SRM (Sample Ratio Mismatch — расхождение долей групп больше 1%). Тест длительностью меньше одной полной недели часто врёт из-за дневной сезонности. Победителя катите на 100% трафика, а проигравшие гипотезы документируйте — Booking хранит базу из 25 000 проведённых экспериментов с 2014 года для повторного анализа.