A/B-тестирование – что это такое и как проводить эксперимент

Олег Вершинин автор статьи

22.08.2022

Обсудить

35 минут

  1. Что такое A/B-тестирование
  2. Для чего нужны A/B-тесты и какие задачи решают
  3. Кому нужно A/B-тестирование
  4. Что можно исследовать при помощи тестов
  5. Какие показатели улучшают за счет A/B-тестирования
  6. Виды A/B-тестирования
  7. Этапы А/Б тестирования
  8. Формулировка устойчивой гипотезы для A/B-теста
  9. Как сделать сплит-тестирование объективным
  10. Как анализировать результаты и что делать дальше
  11. Калькулятор достоверности AB-тестирования
  12. Инструменты для работы с A/B тестами
  13. Советы для эффективного проведения A/B-теста
  14. Примеры A/B-тестов
  15. В каких случаях А/Б тесты не нужны
  16. Частые ошибки при А/Б тестировании
  17. Часто задаваемые вопросы
  18. Заключение
Раскрыть полностью

Развитие бизнеса и продвижение продуктов в Интернете неразрывно связано с тестированием разных концепций и идей. Отслеживание реакций аудитории позволяет выбирать и использовать именно те креативы, которые больше всего нравятся аудитории, привлекают внимание людей, вызывают нужные ассоциации и эмоции. Помогает в этом A/B тестирование, без которого не обходится развитие ни одного серьезного проекта.

А-Б тест
A/B

В сегодняшней статье читайте, что такое A/B-тест, кому и зачем он нужен, что возможно исследовать с его помощью, на какие показатели и метрики нужно смотреть. Разберем виды А/В-тестирования и процесс его проведения по шагам, а также расскажем, как интерпретировать результаты и что делать после теста. Интересно? Поехали!

Что такое A/B-тестирование

A/B тест – это метод маркетингового исследования, который предполагает тестирование двух или более вариантов одного и того же маркетингового элемента, чтобы узнать, какой из них лучше по эффективности.

Например, кнопки на лендинге имеют остроугольную форму, но есть предположение, что закругленная форма будет больше привлекать посетителей. В таком случае создается еще одни идентичный лендинг. Единственное отличие двух вариантов друг от друга – форма кнопок. Трафик равномерно делится между двумя вариантами, и запускается A/B тест, который позволяет протестировать, может ли форма кнопок повлиять на конверсию.

A/B тестирование – отличный способ проверить, дадут ли вносимые изменения нужный результат до того, как они будут внедрены в конечный продукт.

Что такое A-B-тестирование
Матрица

В русскоязычном интернет-пространстве A/B тест и сплит-тестирование трактуются одинаково и употребляются как синонимы. Но если копнуть вглубь этих терминов, можно увидеть, что это совершенно разные исследования.

  • A/B-тест предполагает пошаговое повышение эффективности сайта, рекламы или пользовательского интерфейса, которое по мере внесения мелких изменений приводит к идеальному результату.
  • Сплит-тест – это сравнение двух кардинально отличающихся вариантов (страниц сайта, рекламных баннеров и т. д.).

История появления

Многие считают, что А/Б тестирование появилось после популяризации Интернета. Однако математик Вильям Госсет использовал его еще в начале XX века на пивном заводе Guinness. При варке пива использовался ячмень разных видов. Готовый продукт предлагали потребителям и таким образом определяли, какое сочетание ингредиентов нравится им больше всего.

Уильям Сили Госсет
Уильям Сили Госсет

С массовым появлением Интернета A/B-тесты приобрели особую популярность. Все владельцы сайтов экспериментировали с заменой элементов страниц, стараясь сделать их наиболее привлекательными для посетителей и добиться максимальной конверсии.

Провести А/Б-тестирование тогда было очень просто. Добавляли тег Google Optimize и настраивали тестируемые элементы в визуальном редакторе. После этого запускали тест, в ходе которого пользователи делились на две равные части и равномерно (рандомно) распределялись по двум версиям страницы.

Время шло, A/B тесты стали более сложными и совершенными. С появлением смартфонов появилась потребность в тестировании интерфейсов мобильных приложений, которую инструмент полностью покрывал. Однако многие разработчики до сих пор не хотят использовать тесты для своих продуктов, считая, что это трудоемко, долго и дорого.

Для чего нужны A/B-тесты и какие задачи решают

Когда идет речь о создании хорошего, эффективного инструмента, который обеспечит хороший трафик на сайт или рост продаж, изначально неизвестно, каким должен быть этот инструмент.

Нужно сформулировать оффер так или иначе, сделать кнопки больше или меньше, оформить интерфейс в светлых или темных тонах – даже самый опытный маркетолог не даст однозначные ответы на эти вопросы, а порекомендует провести A/B-тестирование, и это будет самым хорошим решением.

Дело в том, что пользователи разного возраста и пола из разных регионов в разное время года и даже дня могут вести себя по-разному. Факторов, влияющих на поведение людей, тысячи. Проведение исследования позволяет учесть большинство из них и выбрать наиболее привлекательный для посетителей вариант.

А/В тест позволяет решать следующие задачи:

Задачи решающиеся АВ тестированием
Задачи
  • создавать продукт, соответствующий потребностям, привычкам и поведению клиентов;
  • делать персонализированными коммуникации с пользователями;
  • получать объективное мнение посетителей о качестве изменений;
  • избегать принятия решений, основанных на субъективных факторах влияния;
  • обеспечивать стабильную окупаемость инвестиций (ROI);
  • увеличивать конверсию;
  • повышать вовлеченность и снижать показатель отказов;
  • улучшать дизайн, юзабилити, текстовое наполнение, УТП, визуальные материалы;
  • минимизировать риски при внесении изменений;
  • внедрять только статистически значимые улучшения;
  • экономить время и ресурсы.

Основная цель, ради которой используют A/B-тестирование – повышение прибыльности сайта. Принятие решений о любых изменениях основывается на том, чтобы получить самые хорошие результаты и выйти на максимальный уровень дохода.

Кому нужно A/B-тестирование

Сплит-тесты используют в своей практике многие узкие специалисты. Этот инструмент есть в арсенале:

  • маркетологов;
  • продакт-менеджеров;
  • дизайнеров;
  • вебмастеров;
  • SEO-специалистов;
  • аналитиков;
  • администраторов сайтов;
  • UX-исследователей;
  • UX-писателей.

A/B-тестирование не требует специальных знаний и навыков, поэтому использовать этот инструмент для решения своих задач может любой специалист, который работает над продуктом.

Особую роль в A/B-тестировании играет аналитик, поскольку решение в данном случае принимается на основе статистики. Задача специалиста – найти, собрать в отчетах и проанализировать все данные, полученные в процессе тестов, после чего попробовать сделать оптимальный прогноз по внедрению новшеств.

В ходе работы аналитикам важно не делать следующих ошибок:

  • ошибки первого рода – когда кажется, что есть эффект там, где его нет;
  • ошибки второго рода – когда незаметен эффект там, где он есть.

Еще одна важная функция аналитики – расчет статистической значимости, которая показывает, есть ли связь результатов исследования с изменениями продукта.

Что можно исследовать при помощи тестов

Предположения по улучшению существующего сайта или приложения могут касаться различных его элементов, и A/B-тест позволяет проверить абсолютно любые гипотезы.

Чаще всего с помощью A/B-тестирования проверяют:

С помощью AB-тестирования проверяют
Гипотезы
  • заголовки, подзаголовки, офферы, призывы к действию, текстовые описания, темы писем;
  • внешний вид, размер, расположение кнопок CTA и их текст;
  • расположение, количество полей, текст конверсионных форм;
  • размер текста и глубина содержания;
  • изображения, аудио, видео, анимации;
  • дизайн и макет, размещение блоков и разделов;
  • скидки, акционные предложения, пробные периоды;
  • упоминания в СМИ;
  • социальные доказательства: ссылки, цитаты, отзывы;
  • лид-магниты;
  • функционал;
  • УТП, цены и бизнес-элементы;
  • каналы коммуникации;
  • email-рассылки;
  • рекламные объявления: тексты, заголовки, баннеры;

Золотое правило классического A/B тестирования: один тест – одно изменение. Если внести несколько изменений на одной странице и запустить простое тестирование, невозможно будет понять, что именно привело к конкретному итогу.

Какие показатели улучшают за счет A/B-тестирования

Какие показатели улучшают за счет A-B-тестирования
Показатели

Выбор показателей, которые будут улучшаться с помощью сплит-тестирования не такой большой, определяется он целями и задачами проекта. В интернет-маркетинге чаще всего оценивают конверсию, экономические метрики и поведенческие факторы. Рассмотрим их подробнее.

Конверсия

Это доля посетителей, которые совершили нужное целевое действие на странице сайта, сервиса или в приложении. Измерение конверсии после внесения изменений актуально не только для коммерческих проектов, но и для информационных сайтов, блогов. В данном случае тестируют:

Конверсия
Конверсия
  • заполнение формы на сайте;
  • совершение покупки (оформление заказа и его оплата);
  • использование какого-либо инструмента (например, калькулятор расчета с запросом ответов на почту, форма заказа обратного звонка);
  • оформление подписки;
  • регистрация на сайте, для участия в обучающем курсе, в вебинаре, акции;
  • сбор подписей;
  • клик по рекламе Яндекс Директ / Google Ads или по ссылке.

Экономические метрики

Они актуальны преимущественно для интернет-магазинов и других коммерческих сайтов, работа которых связана с финансами. Чем более дружественен интерфейс, тем активнее пользователи будут совершать покупки или оставлять донаты.

Среди финансовых метрик с помощью A/B-тестов отслеживают:

Экономические метрики
Финансовые
  • средний чек;
  • число продаж определенной группы услуг или товаров;
  • стоимость привлечения клиентов (CAC);
  • возврат инвестиций в маркетинг (ROMI);
  • перераспределение методов оплаты.

Поведенческие факторы

Это все методы взаимодействия посетителей с ресурсом или приложением. Отслеживая эти метрики, можно понять степень заинтересованности посетителей и их готовность делать покупки или совершать другие целевые действия.

Чаще всего оценивают:

Поведенческие факторы
Поведение
  • время на сайте;
  • глубину просмотра;
  • показатель отказов;
  • коэффициент удержания;
  • процент постоянных посетителей;
  • повторные сессии;
  • CTR сниппета в поиске.

Виды A/B-тестирования

Когда говорят об A/B-тестировании, как правило, речь идет о простом тесте. На самом же деле существует несколько видов исследования, о которых далее в статье мы расскажем чуть подробнее.

  • Простое A/B-тестирование (сплит-тестирование) – предполагает сравнение двух вариантов страницы или интерфейса – контрольного (исходного) и тестового (измененного). При этом отличаются они всего одним элементом. Простой тест подходит для точечных изменений, не влияющих на работу сайта в целом.
    Пример: тестируются посадочные страницы – первая с красной CTA-кнопкой, вторая с оранжевой.
  • A/B/n-тест – его суть в том, что вы сможете запустить тестирование одного или нескольких изменений одновременно на одной странице. Результат учитывает коэффициенты конверсий среди разных вариантов на базе одного изменения, а в итоге можно выбрать одно решение из нескольких вариантов, которое стало наиболее успешным.
    Пример: сравнение лендинга с прямоугольной, закругленной, овальной и фигурной кнопкой действия.
  • Многовариантное (многовариативное или мультивариативное) тестирование – позволяет сравнивать несколько исследуемых элементов, комбинируя их по-разному на одной странице. Сайтам с небольшим трафиком рекомендуется ограничиться 2-3 тестируемыми элементами, в противном случае можно получить статистически незначимые данные, и тест придется повторять заново.
    Пример: тест формы кнопки и расположения текста описания в карточке товара.
  • Байесовский многорукий бандит – это тесты, в которых происходят реальные обновления онлайн на основе эффективности вариации. Самый хороший вариант получает наибольшую долю. Таким образом, происходит автооптимизация.

Этапы А/Б тестирования

Весь процесс A/Б теста можно условно разделить на несколько шагов. Далее в статье рассмотрим основные этапы исследования:

Этапы АБ тестирования
Этапы
  1. Оценка объективной потребности в тестировании. Нужно понимать, действительно ли есть достаточные условия, чтобы провести исследование: хороший трафик на сайт, регулярные конверсии, налажена система аналитики, а не хочется провести тест чисто ради собственного интереса.
  2. Формулировка гипотезы. A/B-тест эффективен, когда есть четкая проблема, и в процессе исследования удается получить вероятное ее решение. Просто так сравнивать рандомные варианты интересно, но в этом нет смысла.
  3. Определение критерия исследования. Исследуемый параметр основывается на проблеме, которую нужно решить по итогам теста. Это может быть показатель отказов, время на сайте, средний чек, число покупок и другие метрики.

    Важно, чтобы к сайту была подключена аналитика и настроена статистика, которая будет фиксировать изменения показателей.

  4. Выбор единственного элемента тестирования. В одном тесте должно быть только одно изменение, например, только заголовок или только форма кнопки, или только слова на кнопке.
  5. Определение выборки. Важно заранее просчитать, какое количество человек должны просмотреть первую и вторую тестируемую страницу, чтобы получить статистически значимый (положительный) результат, которому можно доверять.
  6. Определение длительности исследования. Даже если нужное количество посетителей набралось за день, A/B-тестирование стоит проводить минимум в течение недели, чтобы посмотреть и учесть разницу в поведении пользователей в разные дни. По умолчанию средняя продолжительность теста составляет 10-14 дней.

    Чтобы получить достоверные результаты не рекомендуется останавливать тест раньше предопределенного времени, даже если четко вырисовывается лидер среди вариантов.

  7. Проверка однородности аудитории. При распределении посетителей между двумя альтернативными вариантами важно обеспечить их похожесть и однородность.
  8. Учет внешних факторов влияния. Проведение эксперимента в период резкого скачка курса валюты, летних отпусков или новогодних праздников может существенно исказить итоговые значения.
  9. Проверка работоспособности. Если отличия в результатах теста аномальные (например, на контрольной странице конверсия 7%, а на исследуемой 0%), нужно убедиться, что все ссылки и кнопки работают, как положено.
  10. Сбор результатов и повтор теста. После завершения исследования стоит подсчитать статистическую значимость результатов. Но даже при условии, что с данными все в порядке, эксперимент не был завершен досрочно, и был выявлен победивший вариант, никогда не помешает провести новый тест повторно.
  11. Анализ данных и принятие решения. Результаты исследования нужно проанализировать и решить, стоит ли сразу начать вносить изменения в текущую версию или лучше оставить все, как есть.

Формулировка устойчивой гипотезы для A/B-теста

A/B тестирование проводится для решения какой-либо проблемы или изменения некоего поведения людей. Зная конкретную проблему или задачу, формируется гипотеза или предположение, которое в конце эксперимента будет подтверждено или опровергнуто. Без гипотезы исследование не имеет смысла.

Правильно сформулировать гипотезу помогает список, состоящий из 5 приоритетов. Именно он сможет показать, какие предположения важно тестировать в первую очередь.

Формулировка устойчивой гипотезы
Устойчивые гипотезы

Приоритет

Что показывает

Цель

Теснота связи гипотезы с KPI.

Предмет

Важность анализируемой функции или страницы для бизнеса.

Положение

Будет ли наблюдаться рост конверсии вследствие изменений и в какой степени это будет заметно.

Ценность

Станет ли предложение более ценным для клиента после внесения новых изменений или это лишь «косметическое» улучшение.

Доказательства

Существуют ли хорошие примеры подобных изменений с высокой эффективностью.

Оценка каждой метрики по шкале от 1 до 5 поможет понять, имеет ли предположение шансы стать статистически значимым по итогам теста. Общий балл 20 и более говорит в пользу предложенной гипотезы.

Как сделать сплит-тестирование объективным

При A/B-тесте пользователи делятся на две одинаковые группы случайным образом. Одна группа видит текущую версию, другой показывается страница с изменениями. Чтобы в ходе тестирования минимизировать влияние различных факторов и рассчитывать на объективность, стоит придерживаться нескольких правил:

  • тест обеих версий проводится одновременно, поочередное тестирование с последующим сравнением результатов не допускается;
  • фильтрация сотрудников компании, они не должны войти в фокус-группы, чтобы не исказить общую картину эксперимента;
  • репрезентативность выборки, т. е. каждая группа должна включать достаточное количество людей, чтобы сократить риск влияния случайных действий. Кроме этого, группы не должны пересекаться – необходимо исключить вероятность того, что пользователь зайдет на одну версию сайта (например, на главной странице), а после обновления увидит измененный вариант.
Зависимость от факторов
Зависимость

Результат эксперимента зависит от целого ряда внутренних и внешних факторов.

Внутренние факторы

  • Маркетологи.
  • Разработчики.
  • Сотрудники call-центра.
  • Менеджеры по продажам.
  • Специалисты службы техподдержки и другие.

Эти специалисты взаимодействуют с сайтом большую часть рабочего времени, поэтому их трафик не должен учитываться при тестировании.

Внешние факторы

  • Сезонность.
  • Погодные условия.
  • День недели.
  • Время суток.
  • Рекламные кампании.
  • Активность конкурентов и т. д.

Все это может указать на то, что любая ситуация требует проверить результаты с участием контрольной группы. Отследить колебания показателей в связи с влиянием внешних факторов можно с помощью сквозной аналитики и корпоративной CRM-системы.

Как анализировать результаты и что делать дальше

Итак, сплит-тестирование завершено в установленный срок, необходимая статистика набрана. Теперь необходимо отделить показания с высокой статистической значимостью от изменений метрик случайного характера. Это значит, предстоит перейти в отчеты и оценивать значимость результатов.

Случайные величины сравниваются путем проверки статистических гипотез, которых в A/B-тестировании всего две: нулевая и альтернативная. Согласно первой, наблюдается незначительное различие между средними величинами показателя. Согласно второй, эта разница существенная.

Как анализировать результаты теста
Анализ результатов

Проверка гипотез осуществляется с применением ряда статистических тестов, выбор которых определяется характером измеряемого показателя. Наиболее универсальным является тест Стьюдента, который подходит для измерения различных количественных показателей и позволяет работать с небольшими массивами данных.

Убедившись, что результаты исследования имеют высокую статистическую значимость и не случайны, необходимо принять решение о запуске лучшего варианта в работу или оставить страницу без изменений.

После того, как тест завершен, результаты проанализированы, изменения вступили в силу, стоит заняться поиском новых предполагаемых точек роста, сформулировать новые гипотезы и приступить к следующему тесту с целью улучшения и повышения эффективности ресурса.

В поиске наиболее перспективных ступеней воронки продаж продукта имеет смысл использовать методы юнит-экономики. С ее помощью можно определить доходность бизнес-модели по выручке от одного клиента или товара. Если продукт – мобильное приложение, то доходом выступают деньги от подписки, продажи приложения, а также прибыль с рекламы.

Ошибки при оценке статистической значимости

  • Вера в то, что одна страница лучше другой. На самом деле значения лишь отражают вероятность, что полученный результат не случайный.
  • Результат подтверждает, что первая версия тестируемой страницы может оказаться лучше второй или наоборот. На деле это не так. А/Б-тестирование не позволяет это доказать, а лишь показывает, что одна версия получила больше целевых показателей в сравнении с другой.
  • Пользователи выбрали одну из версий. Фактически люди не могут самостоятельно сравнить два варианта, оценить преимущества и предпочесть один из них. Измерения показывают, как определенное изменение или разработка влияет на поведение людей.

Сегментация аудитории

Если в результате сплит-тестирования не было выявлено существенной разницы между сравниваемыми вариантами, можно попытаться их сегментировать по различным признакам:

  • по демографии (примеры: пол и возраст, страна);
  • по старым и новым пользователям (желательно включать в фокус-группы только новых посетителей);
  • по плательщикам;
  • по источнику трафика и платформе.

Один из вариантов может в целом проиграть другому, но обойти его по некоторым отдельным параметрам.

Сегментация аудитории
Сегментация

Если вы хотите провести правильную сегментацию аудитории, следует придерживаться двух полезных правил:

  1. В каждом сегменте должен быть достаточно большой объем выборки, которые стоит рассчитать заранее. Минимальное количество конверсий на один тестируемый вариант в каждом сегменте – 250-350.
  2. В слишком маленьких и статистически незначимых сегментах проводить A/B тест бессмысленно.

Калькулятор достоверности AB-тестирования

Чтобы получить максимально достоверные результаты теста и сделать объективные выводы, стоит обратить внимание на правильность определения размера выборки перед началом исследования, а затем определить статистическую значимость полученной информации. В обоих случаях для удобства расчетов можно пользоваться онлайн-калькуляторами. Ниже в статье предлагаем два удобных онлайн-сервиса, которые помогут быстрее сделать расчеты и получить нужные значения, нажимая на кнопку вычисления.

Калькулятор размера выборки для А/Б-теста

Для проведения A/B-теста важно правильно рассчитать размер выборки. Поможет в этом калькулятор, однако потребуется сделать дополнительные расчеты, которые предстоит провести вручную.

Коэффициент конверсии (CR) = (Конверсия / Трафик) × 100%

Предположим, что у исследуемой страницы трафик 1200 пользователей, конверсия – 18%. Тогда CR = 1,5. Заносим данные в калькулятор и считаем.

Рассчитать размер выборки
Размер выборки

Теперь вы знаете, что размер выборки для каждого варианта составит 14 496 человек.

Калькулятор статистической значимости А/Б-теста

Чтобы успешно закончить A/B-тест, необходимо убедиться, что результаты были интерпретированы верно и не являются случайными. Для этого можно воспользоваться калькулятором статистической значимости.

Рассмотрим простой пример. Предположим, что по итогу А/Б-тестирования двух страниц сайта были получены такие данные:

  • страница 1: трафик – 1500 пользователей, конверсия – 6;
  • страница 2: трафик – 1200 пользователей, конверсия – 18.

Для проверки статистической значимости можно добавить эти данные в соответствующие поля калькулятора.

Подвести итоги тестирования
Значимость

Для повышения статистической значимости результатов исследования стоит придерживаться следующих рекомендаций:

  • использовать максимально согласованные данные с минимальными отклонениями;
  • обеспечивать значительное повышение коэффициента конверсии, сравнивая две страницы;
  • увеличивать размер выборки.

Инструменты для работы с A/B тестами

Для упрощения работы маркетологов, аналитиков и других исследователей предназначены специальные программы. Их можно использовать, не только чтобы работать с тестами, но, и чтобы разделять пользователей на фокус-группы, отслеживать эффективность различных тестируемых вариантов. В статье рассмотрим основные их них.

Инструменты для работы с тестами
Инструменты
  • Калькулятор А/Б-тестирований от Яндекса. Позволяет сравнивать результаты исследования в разных рекламных кампаниях с учетом привлеченных лидов. Учитывает показатели CPA, CPC, CTR.
  • Google Optimize или Google Marketing Platform. Наиболее популярный бесплатный сервис с возможностью одновременной проверки 5 вариантов одной страницы для теста нескольких гипотез. Для подключения нужен аккаунт Google Analytics.
  • Optimizely.com. Простой сервис, который можно использовать для A/B-тестирования, с удобными визуальными редакторами и понятным интерфейсом.
  • Changeagain.me. Алгоритмы платформы позволяют ей интегрироваться с Google Analytics и дают возможность формировать цели, которые загружаются в систему автоматически.
  • ABtasty.com. Хороший сервис, который позволяет проводить сплит-тестирование, мультивариантные тестирования, имеет 7 параметров настройки таргетинга и интегрируется с Google Analytics.
  • Realroi.ru. Удобный и простой российский аналог зарубежных программ для A/B-тестирования.
  • Vwo.com или Visual Website Optimizer. Еще один иностранный сервис с большими возможностями, тем не менее, требует навыков работы с html.
  • Convert. Платформа поддерживает самый большой набор параметров для настройки таргетинга среди известных сервисов, способна работать с трафиком до 1,2 млрд пользователей.
  • Flexbe. Штатный инструмент для A/B-тестирования страниц, созданных с помощью одноименного конструктора.
  • LPGenerator. Сервис имеет шаблоны и удобный визуальный редактор, но способен работать только с теми лендингами, которые были созданы с помощью данного конструктора.
  • Unbounce. Приложение для теста и оптимизации внутренних одностраничных сайтов.
  • Facebook. Социальная сеть позволяет удобно и бесплатно сделать сплит-тестирование креативов. Например, у ВКонтакте такого инструмента нет.
  • MyTarget. Здесь доступно А/Б тестирование рекламных кампаний, а также сегментирование аудитории.

Как настроить Google Optimize

Это один из наиболее популярных сервисов, поэтому в данной статье мы разберем, как с его помощью провести A/B-тестирование.

optimize google
Google Optimize
  1. Заходим на сайт и авторизуемся под Google аккаунтом.
  2. Создаем проект оптимизации, указываем название эксперимента, URL страницы, выбираем «Эксперимент А/Б».
  3. Указываем настройки таргетинга.
  4. Для настройки целей подключаем аналитику.
  5. Создаем страницы с изменениями и прописываем цели, которые вы ожидаете достичь.
  6. Прописываем адреса веб-страниц с изменениями.
  7. Задаем аудиторию для просмотра тестируемых страниц и элементов.
  8. Указываем процент аудитории, который будет принимать участие в исследовании.
  9. Генерируем код эксперимента и добавляем его в html-файл сайта.
  10. Запускаем эксперимент. Для этого нажмите кнопку ОК в личном кабинете. Здесь же будет отображаться статистика.

Если в Google Analytics еще не заданы цели, их нужно создавать. Для этого:

  1. Зайдите в Google Analytics и авторизуйтесь в аккаунте.
  2. Нажмите «Создать цель».
  3. Выберите подходящую цель из стандартных или отметьте «Выбрать» и кликните «Далее».
  4. Напишите название цели, определите ее тип.
  5. В поле Цель пропишите путь к странице, которая подтверждает, что цель достигнута.
  6. Кликните «Создать цель».

Как настроить Яндекс Метрику для A/B-тестирования

Яндекс Метрика тоже может помочь провести сплит-тест двух разных страниц сайта. Настройка предполагает два этапа работы.

  1. На первом этапе создайте две страницы, которые будет видеть аудитория и где отличаться будет только один элемент, например, кнопка. Вместо этого можно настроить посадочную страницу так, чтобы целевой аудитории показывались два ее варианта: оригинальный и альтернативный.
  2. Второй шаг – настройте передачу данных в Метрику о том, какая версия сайта была показана посетителю. Для этого нужно создать параметр, которому будет присвоено требуемое значение, и передать его в Метрику. На основе этого будет формироваться отчет с данными. Как это сделать, читайте подробнее в справке Яндекса.

А/В-тестирование в Яндекс.Директ

Яндекс Директ позволяет проводить A/B-тестирование серии рекламных материалов с целю выбрать наиболее эффективные и организовать показ только самых кликабельных объявлений. Сделать это можно с помощью инструмента «Группы объявлений».

Все рекламные объявления в одной группе имеют идентичные настройки: ключи, минус-слова, геотергетинг, ставки за клик и т. д., что делает группы идеальным инструментом для сплит-тестирования контекстной рекламы.

Яндекс директ тестирование объявлений
Яндекс Директ

Перед тем, как создавать группу, распределите ключевые слова по категориям товаров или услуг в рамках рекламной кампании. Для каждой подгруппы ключей предстоит сделать какое-то количество объявлений, которые и будут показываться аудитории в ходе тестирования.

Например, сплит-тестирование позволяет сравнивать, как влияет на поведение аудитории:

  • ограничение длительности акции;
  • упоминание в тексте о скидке;
  • конкретизирование текста объявления;
  • различные вариации изображений;
  • разные формулировки предложений;
  • наличие быстрых ссылок.

При этом объявления в группе могут быть как для одной посадочной страницы, так и для разных. То же самое касается контактов.

Обязательно нужно соблюдать правило тестирования одного элемента. В противном случае будет невозможно определить, как может повлиять на реакцию аудитории то или иное изменение.

Поначалу все объявления из группы будут показываться равномерно, но с течением времени, когда система накопит достаточно статистики, предпочтение будет отдаваться более эффективной рекламе с наивысшим CTR.

Воспользоваться инструментом легко. Достаточно включить функцию «Начать работать с группами» в личном кабинете Яндекс Директ.

Создать группу объявлений можно несколькими способами:

  • задайте параметры группы на специальной вкладке в интерфейсе Директ Коммандер;
  • воспользуйтесь csv- или xls-файлами;
  • воспользуйтесь API Директа, которая поддерживает группы в работе с объявлениями (версия API Live 4).

Более подробно о работе с группами объявлений в Директ можно почитать в документации Яндекса.

Советы для эффективного проведения A/B-теста

Бывает, что вы проверяете все гипотезы, но это не приводит к улучшению результата. В таком случае стоит прибегнуть к следующим рекомендациям.

Советы для эффективного проведения AB-теста
Советы
  • Минимизируйте действия, которые пользователь должен совершить на сайте для достижения цели.
  • Замените часть скучного текста в статье интересными и информативными мультимедиа (видео, инфографика).
  • Экспериментируйте с цветом. Опыт говорит о том, что со временем некоторые цвета и выходят из моды или приедаются и начинают раздражать.
  • Предлагайте бонусы пользователям, которые быстро совершат конверсию.
  • Пользуйтесь калькулятором времени теста, чтобы правильно определить длительность исследования.
  • Минимум раз в 6 месяцев возвращайтесь к предыдущим экспериментам, чтобы пересмотреть их результаты на текущий момент с учетом прошедшего времени.
  • Проводите А/А-тест, чтобы проверить корректность исследования и избежать отклонения значений более чем на 10%.
  • Тестируйте не только страницы сайта, но и всплывающие окна, карточки товаров, электронные рассылки, новости.
  • Не стремитесь оценить результаты теста до того, как пройдет нужное время и наберется достаточное количество посетителей на сайте.
  • Не останавливайте тест для изменения каких-либо его параметров или элементов.
  • Избегайте тестирования одновременно нескольких изменений на сайте за один раз.
  • Ставьте конкретную цель теста.

Примеры A/B-тестов

Пример 1.

Компания специализируется на мониторинге серверов. Основная задача – повышение цен ради увеличения выручки. Было выдвинуто две гипотезы:

  1. С ростом цен количество бесплатных регистраций уменьшится.
  2. С ростом цен выручка повысится несмотря на уменьшение числа регистраций.

Среднее число подключаемых серверов составляло 8, при этом за обслуживание одного сервера клиентам приходилось платить 1100 руб. Пользователи жаловались на слишком высокую цену. Однако фирма решила продавать новый пакет услуг: обслуживание 10 серверов по цене 9 900 руб.

По старой цене обслуживание 10 машин обошлось бы в 11 000 руб. Так, компания повысила цену одного заказа, но при заказе большого количества услуг общая цена снизилась и стала выгодной для клиентов. При этом средний чек повысился, что положительно сказалось на общем доходе предприятия.

Пример 2.

Продавец женской одежды ранее запускал рекламную кампанию под каждую категорию товара (юбки, платья, блузки, брюки и т. д.). При этом было подобрано соответствующее семантическое ядро.

В ходе A/B-тестирования было принято решение создать одну масштабную рекламную кампанию, в которой будут объединены все ранее созданные мелкие. В рамках одной крупной РК планировалось разделение товаров по категориям. Это позволило максимально укрупнить семантику, которая до этого приносила конверсии.

В этом примере в результате теста стало понятно, что новая РК приносит где-то на 25% конверсий больше, позволяет увеличить приток клиентов на сайт и прибыль.

В каких случаях А/Б тесты не нужны

Несмотря на полезность и универсальность А/Б тестов они не всегда актуальны и уместны. Разберем примеры случаев, когда лучше воздержаться от экспериментов.

В каких случаях АБ тесты не нужны
Тестирование не требуется
  • Отсутствие понимания принципов сплит-тестирования. Если вы «не в теме», как работает тест, лучше поручить эту работу профессионалу или хотя бы предварительно хорошо изучить теорию и чужие кейсы.
  • Недостаток конверсий. При отсутствии стабильных продаж и потока заявок вы не получите достоверных результатов теста.
  • Размытые предположения или их отсутствие. Гипотеза должна быть четкой, иначе ее тестирование ничего не даст.
  • Продукт рассчитан на премиум-сегмент потребителей или сегменты B2B / B2G. В данном случае каждый клиент имеет высокую ценность. Любое «сырое» решение может отпугнуть и сорвать сделку на крупную сумму.

Частые ошибки при А/Б тестировании

Частые ошибки при АБ тестировании
Ошибки
  • Тестирование страниц с несколькими изменениями.
  • Использование заимствованных гипотез и чужих результатов.
  • Неверно выбранная продолжительность исследования.
  • Однократное тестирование.
  • Игнорирование влияния внешних факторов на эксперимент.
  • Неправильно выбранный инструментарий.
  • Минимальное отслеживание метрик.
  • Принятие решения до того, как завершится тест (проблема подглядывания).
  • Тестирование в два, три и более этапов – поочередно.
  • Ожидание значительных результатов при минимальных изменениях.
  • Запуск нескольких тестов одновременно.
  • Замеры микроконверсий.
  • Игнорирование автором статистики в пользу личных ощущений.

Часто задаваемые вопросы

Если стоит задача повысить прибыль компании, какие-то ключевые показатели или менять маркетинговые инструменты взаимодействия с клиентами (сайт, лендинг, рассылку, креатив и пр.), A/B-тестирование является обязательным.

Приступать к A/B тестированию можно, если:

  • подключена аналитика на сайт или трекинг к мобильному приложению;
  • ведутся подсчеты расходов и доходов, есть понимание, сколько будет стоит привлечение одного пользователя, и возможность масштабирования;
  • есть ресурсы для проведения системных проверок гипотез.

Продолжительность тестирования должна быть такой, чтобы результаты приобрели статистическую значимость и могли использоваться в качестве основы для принятия решений. Останавливать эксперимент можно тогда, когда становится ясно, что в итогах нет конвергенции. Минимально допустимый период – неделя. В большинстве сервисов пол умолчанию установлен рекомендуемый срок тестирования – от 10 до 14 дней.

Кроме A/B-тестов, в некоторых случаях проверять, сработала ли гипотеза, можно и другими методами:

  • юзабилити-тестирование – подходит для проверки удобства интерфейса;
  • fake door тест – позволяет проверить, нужна ли конкретная опция пользователям (устанавливается «пустая» кнопка и отслеживаются клики по ней);
  • релиз на ограниченную ЦА – метод позволяет запустить продукт на выделенную часть аудитории, определенный район или город;
  • unbounce – сервис, с помощью которого можно создать несколько вариантов страниц, а аудиторию для каждого типа страницы подберет искусственный интеллект.

Существует риск снижения рейтинга сайта в поисковых системах из-за того, что альтернативные страницы могут быть восприняты как дубли. Однако на практике к этому приводят только длительные эксперименты.

Для такого случая существует A/B/n тестирование, которое имеет аналогичный принцип, что и сплит-тест, но может сравнивать одновременно больше двух альтернативных изменений одного объекта.

Определить примерное количество пользователей для участия в эксперименте можно с помощь специальных калькуляторов. Но в любом случае, чем больше будет выборка, тем выше шансы получить точные результаты.

Это допускается, но есть ограничения. При параллельных тестах выборки не должны пересекаться, иначе одно изменение может изменить восприятие другого.

Заключение

Сплит-тестирование – неотъемлемый инструмент работы маркетологов, аналитиков, разработчиков, дизайнеров и других специалистов, которые непосредственно связаны с созданием и продвижением продукта или бренда. A/B-тест помогает улучшить показатели компании и повысить доходность бизнеса. Если вы стремитесь уверенно продвигаться на рынке и обходить конкурентов, данный механизм должен стать верным спутником в процессе всей работы.

Нашли ошибку в тексте? Выделите нужный фрагмент и нажмите ctrl + enter

Почитать еще

Что нового в интернет-маркетинге?

Подпишись на рассылку и будь в курсе новых событий!

Только самое полезное, никакого спама

У вас есть интересный материал?

Вы можете опубликовать свою статью в нашем блоге!

Жмите на кнопку и присылайте свою статью

Предложить статью