Сплит-тестирование: пошаговая инструкция и 11 полезных инструментов

Что такое сплит-тестирование

В ходе сплит-тестирования входящий трафик распределяется случайным образом между двумя версиями одной страницы, чтобы определить, какая из них лучше (например, больше просмотров, конверсий или клиентов). Простыми словами, одной части посетителей показывается одну из двух версий веб-страницы, другой – вторую. Для оценки эффективности могут применяться различные KPI, например, коэффициент конверсии, количество загрузок, потенциальных клиентов, число отказов, CTR, CPA и т. д.

В сплит-тестировании могут принимать участие все посетители сайта или только часть людей (сегмент аудитории). В случае сегментации трафика критериями могут служить такие параметры, как источник перехода, местоположение пользователя и т. д. В этом случае сплит-тестированию дают второе название: тестирование с разделением URL-адресов. Такое исследование обычно применяется для сравнения двух ссылок одной страницы, реже – для нескольких одновременно.

Зачем проводить сплит-тесты

Сплит-тестирование, в частности A/B-тестирование, используется с целью получения максимально объективной оценки результативности тестируемого объекта. К его основным функциям относится:

• проверка и сопоставление того, к чему приводят предложенные изменения;
• снижение рисков при нововведениях, которые могут негативно отразиться на показателях веб-ресурса (конверсии, количестве продаж и др.);
• определение влияния конкретных компонентов веб-страницы на поведение аудитории;
• поиск элементов интерфейса, которые способствуют выполнению пользователями целевых действий и улучшению юзабилити сайта, концентрация на них трудовых и финансовых ресурсов;
• извлечение максимальной пользы из трафика путем увеличения продаж и снижения отказов, в т. ч. числа уходов клиентов на этапе заполнения корзины или заказа услуги.

Сплит-тестирование основывается на реальных данных, а значит, является надежным помощником в принятии важных бизнес-решений. Его главная цель – повысить качественные и количественные показатели сайта, в конечном счете привести к росту прибыли.

Виды тестирования

Термин «сплит-тестирование» объединяет в себе множество видов тестов, общий принцип которых заключается в сравнительном анализе. Тем не менее, использование того или иного вида зависит от конечной цели, а также от того, какой этап оптимизации проходит сайт. Далее в статье рассмотрим основные его виды.

• Многовариантный тест (MVT). Контрольная страница сравнивается со страницами, на которых в разных комбинациях изменены несколько элементов. Дает быстрые результаты, но требует значительного объема трафика, что делает его недоступным для сайтов с малой посещаемостью.
  Пример использования MVT: сравнить несколько комбинаций изображений и заголовков в карточке товара и определить лучший вариант.
• A/B-тестирование или A/B-test. Контрольную страницу сравнивают с ее же обновленной версией. При этом новый вариант содержит единственное изменение, например, цвет кнопки или формулировка заголовка.
  Тестирование, при котором сопоставляется несколько модификаций страниц с изменениями, называется A/B/n-тест.
• Тест с исключением. Отдельные элементы на странице скрывают от пользователей и наблюдают, как это повлияло на конверсию на определенном этапе воронки продаж. Если конверсия выросла, делают вывод, что данный элемент мешает продажам. Тестирование элементов осуществляется поочередно.
• А/А тестирование. Сравнению подлежат две абсолютно одинаковые страницы сайта. В качестве тестовой выбирают страницу с высоким трафиком, желательно такую, на которой пользователи могут что-то купить или сделать заказ. Это необходимо, чтобы убедиться в корректности работы инструмента. Если A/A-тест не провести, нельзя быть уверенным в правильности данных в результате A/B-тестирования и их статистической значимости. Однако в условиях дефицита времени эксперты советуют A/A/B-тест.

Чем отличается сплит-тестирование от A/B-тестирования

Понятия сплит-тестирования и A/B-тестирования обычно используются как взаимозаменяемые. Несмотря на то, что четкого общепринятого определения каждого термина не существует, маркетологи все же видят между ними разницу. По мнению экспертов, A/B-тестирование предполагает тестирование разных версий одного URL, в то время как split test может проводиться по нескольким разным URL и позволяет сравнивать разные макеты веб-страниц целиком.

Что можно тестировать

С помощью split testing можно успешно тестировать следующие элементы интернет-ресурса для дальнейшей его оптимизации и продвижения:

• общий дизайн, макет сайта и каждой отдельной страницы;
• лендинги и прелендинги;
• расположение, вид, форма конверсионных кнопок;
• призывы к действию;
• параметры текста (объем, содержание, структура) и способ его отображения;
• заголовки, подзаголовки, описания товаров;
• графические и мультимедийные элементы, креативы: изображения, фотографии, иллюстрации, схемы, иконки, видео;
• блок с ценами, отзывы;
• страницы «кейсы», «контакты», «блог»;
• наличие гарантии, условия доставки, скидки, возможность попробовать товар;
• формы обратной связи;
• ссылки и другие элементы навигации;
• геоданные и таргетинг;
• темы писем для email-рассылки, коммерческие предложения;
• заголовок и текст рекламы;
• изменение настроек пола, возраста, интересов целевой аудитории в рекламной кампании.

Таким образом, сплит-тестирование применимо для двух маркетинговых стратегий:

1. Pre-click – внешние элементы маркетинга, например, медиа-баннеры, объявления, рассылки.
2. Post-click – непосредственно сайт или лендинг, т. е. то, куда пользователи приходят, кликая по ссылкам с рекламы.

Чтобы отследить точное влияние конкретного элемента, рекомендуется избегать сравнения одновременно нескольких параметров.

При сравнении показателей необходимо учитывать следующие факторы:

• конверсия;
• поведенческие факторы, например, среднее время на сайте, число отказов, глубина просмотра веб-страницы, коэффициент удержания;
• экономические факторы, например, средний чек, количество продаж, объем выручки, средний доход на пользователя и т. д.

Преимущества сплит-тестирования

Проведение сплит-тестирования приносит бизнесу определенные выгоды.

• Гарантия того, что внесенные изменения не ухудшат показатели сайта и не сольют бюджет.
• Возможность оценить влияние определенных нововведений на поведение пользователей и ключевые метрики при оптимизации, в частности конверсии, средний чек, прибыль.
• Возможность улучшить характеристики сайта, подстроиться под потребности клиентов с максимальной выгодой для компании, извлечь максимум пользы со входящего трафика.
• Возможность выдвигать гипотезы и правильно работать с ними.
• Способ выстроить действенную рабочую стратегию.
• Возможность выявить и устранить проблемы на сайте или в рекламе, которые мешают начать продавать и получать больше прибыли.
• Исследование не требует больших затрат и быстро настраивается с помощью специальных инструментов.
• Всеобщая и полная доступность.

Алгоритм проведения сплит-тестирования

Весь процесс удобно представить в виде алгоритма, который можно условно разделить на несколько этапов. Ниже в статье разберем, какие действия предстоит выполнить на каждом из них.

Шаг 1. Оцениваем ресурсы

Для проведения экспериментов нужен достаточно высокий и стабильный трафик, желательно, чтобы были конверсии, должна быть подключена и настроена система аналитики. Маркетологу важно уметь правильно формулировать гипотезы и работать со статистикой. Если сайт молодой, осознанного, системного подхода еще нет, лучше на время отложить сплит-тестирование и переключиться на аудит, SEO и продвижение ресурса.

Шаг 2. Определяем ключевой показатель и ставим цель

При невысоком трафике целесообразно делать ставку на коэффициент конверсии, число посещений карточки товара, количество позиций, добавленных в корзину, и подобные метрики. Раскрученным интернет-магазинам, в т. ч. на маркетплейсах, следует рассматривать в качестве ключевой метрики не конверсию, а средний доход на посетителя за определенный период (ARPU). Нужно понимать, что при продаже дешевых товаров и высокой конверсии компания может получать доход меньше, чем при продаже дорогой продукции и низкой конверсии.

После выбора главного показателя необходимо поставить конкретную цель сплит-теста.

Также стоит работать со второстепенными метриками, например, число отказов, средний чек, время на сайте и т. д. Они могут пригодиться, когда придется дать объяснение результатам по ключевому показателю.

Шаг 3. Выбираем страницу для тестирования

Это должна быть самая важная страница в разрезе метрики, которую нужно улучшить. На ней нужно выявить те элементы, которые предположительно могут повлиять на конверсию. В этом помогут:

• инструменты веб-аналитики;
• анализ обратной связи;
• результаты опросов и интервью целевой аудитории;
• тепловая карта кликов (Яндекс Метрика).

Определите порядок тестирования элементов. Первыми стоит проверить те из них, которые, по предварительным данным, имеют большее влияние на показатель.

Шаг 4. Формулируем гипотезу

Важнейший этап сплит-тестирования – формулирование гипотезы, которую предстоит проверить.

Примеры гипотез:

• добавление упоминания о бесплатной доставке в карточке товара приведет к росту коэффициента конверсии в покупку;
• добавление ссылок в футер уменьшит число отказов;
• удаление поля «Ваш город» из формы обратной связи увеличит количество лидов.

Если проверка гипотезы ведет к росту выбранного показателя, гипотезу можно считать подтвержденной. В противном случае это повод к размышлениям и выдвижению новых предположений. Тестирование без гипотез – зря потраченное время.

Шаг 5. Создаем альтернативную страницу

Когда предыдущие этапы пройдены, необходимо создать и добавить на сайт еще одну страницу. Она должна быть идентичной той, что мы выбрали в качестве исходной, с единственным изменением выбранного элемента. Все остальные детали должны остаться прежними.

Исходная страница будет называться контрольной, а измененная – тестовой.

Шаг 6. Рассчитываем размер выборки и длительность тестирования

Размер или объем выборки – это количество пользователей, которое будет участвовать в исследовании.

Рассчитать это значение можно, используя простой калькулятор. В онлайн-сервис достаточно внести данные о базовой конверсии, минимальном эффекте, настроить нужные отметки мощности и достоверности.

Продолжительность теста не должна быть меньше 14 дней, т. к. в разные дни поведение посетителей сайта или блога может меняться. Средняя длительность составляет 4-5 недель.

Длительность тестирования должна быть пропорциональна длительности цикла покупки: чем он длиннее, тем дольше нужно продолжать тест.

Шаг 7. Запускаем сплит-тест

Сделать это можно с помощью специальных инструментов. О них подробнее мы поговорим в следующем разделе статьи. Для запуска сплит-теста необходимо указать URL обеих тестируемых страниц и выбрать нужный элемент. После запуска сервис сам регулирует направление трафика таким образом, чтобы одна часть посетителей видела исходник, а другая часть – измененную версию. Также программа самостоятельно собирает данные для последующей обработки.

Шаг 8. Контролируем процесс тестирования

Прежде всего стоит убедиться, что все правильно работает. Если между двумя тестируемыми вариантами слишком большая разница, это может говорить о том, что на одной из страниц что-то не функционирует. Однако вносить изменения и менять параметры сразу не стоит, лучше дождаться завершения теста.

Шаг 9. Проверяем статистическую значимость результатов

Когда сплит-тест закончится, важно проверить статистическую значимость полученных данных. Это удобно делать с помощью специального калькулятора достоверности.

Если статистическая значимость составляет 95% и более, показатели можно учитывать при внесении изменений на странице. В противном случае стоит вернуться назад, перейти к шагу 4 и выдвинуть новую гипотезу.

Шаг 10. Анализируем результаты и выбираем лучший вариант

Необходимо сравнить показатели ключевого параметра по обеим вариантам тестируемой страницы. Если разница между ними существенная, можно сделать вывод об эффективности или неэффективности изменения выбранного элемента.

Инструменты для сплит-тестов

Существует множество специализированных инструментов, которые позволяют выполнять сплит-тестирования сайтов, интернет-магазинов и даже рекламных кампаний. Разберем самые востребованные сервисы для маркетологов.

1. Optimizely. Подходит для сплит и A/B-тестов, позволяет исследовать как единичные элементы, так и их комбинации, помогает искать и максимально точно выявлять наиболее эффективные варианты с точки зрения маркетинга, продаж и кликов. В интуитивно понятном визуальном редакторе могут работать даже новички, которым не нужно знать html-код. Недостаток – высокая цена.
2. Google Optimize. Бесплатный и простой в настройке сервис, функциональности которого достаточно для сравнения до 5 страниц. Результаты исследования удобно выводятся в сводной таблице. Инструмент интегрируется с Google Analytics. Можно с уверенностью сказать, что это один из самых удобных сервисов для экспериментов в e-commerce.
3. VWO – Visual Website Optimizer. Платформа с довольно широким функционалом для проведения тестов, а также последующего анализа собранной информации, настроек поведенческих факторов. Не самый простой сервис, требует базовых знаний html.
4. Convert. Продвинутый сервис с поддержкой различных режимов и визуальным редактором, умеет персонализировать любой контент, имеет возможность настройки под мобильные устройства. Платформу можно бесплатно использовать в течение пробного периода (15 дней).
5. Unbounce. Платформа специализируется на лендингах, в т. ч. позволяет проводить сплит-тестирования. Сервис платный и рассчитан на тестирование лендингов, созданных только в нем.
6. Google Analytics. Кроме веб-аналитики, сервис позволяет также бесплатно тестировать страницы. Опция доступна в разделе «Поведение» (вкладка «Эксперименты»). Статистическая значимость считается автоматически, при этом тест не завершится до тех пор, пока не будет достигнуто нужное значение этого показателя. Интерфейс Google Analytics привычный и понятный для каждого веб-мастера и маркетолога.
7. Google Marketing Platform. Полностью бесплатный и интуитивно понятный сервис, с помощью которого могут решать свои задачи даже новички. Здесь можно запускать одновременно несколько тестов, использовать цели по умолчанию или создавать свои. Из недостатков: платформа не поддерживает анализ трафика и конкурентов, не позволяет тестировать рекламные объявления. Для доступа к сервису нужно войти в Google Analytics.
8. MyTarget. Онлайн-сервис для тестирования рекламы, в т. ч. из Яндекс Директ, креативов, сегментации целевой аудитории. Опции здесь полностью бесплатные, а программа простая и удобная.
9. MailChimp. Платформа для сплит-тестирования рассылок. Работает по такому же принципу, что и тестирование веб-страниц: половина писем отправляется одной части подписчиков, вторую половину получает другая часть фокус-группы.
10. Facebook. Социальная сеть позволяет своим пользователям абсолютно бесплатно узнать, эффективна ли таргетированная реклама, протестировать ее разные варианты и улучшить объявление. Для этого необходимо выбрать нужную кампанию и кликнуть по кнопке «Новая кампания сплит-тест».
11. Серверное распределение. Достаточно сложный способ сплит-тестирования для продвинутых пользователей. Требует вмешательства в чужой код, но позволяет реализовать сложную логику распределения тестируемых вариантов, а также проводить тест на бэкэнде.

Мифы о сплит-тестировании

Несмотря на популярность и неоспоримую эффективность тестов, некоторые, послушав чужие мнения, начинают сомневаться, стоит ли их проводить. Причем, чаще всего мнения высказывают те, кто не являются специалистами в этой области. Отсюда множество мифов, которые мы развеем в этой статье.

• Миф 1. Проведение сплит-тестирований – задача не первостепенной важности. Как следствие, тестирование все откладывается и откладывается, ведь всегда находятся более приоритетные задачи. Соответственно, вы теряете время, конверсии и отстаете от конкурентов, которые эти самые тесты активно проводят и улучшают свои сайты, рекламу, рассылки с помощью оптимизации.
• Миф 2. Сплит-тестирование – это очень дорого. С помощью split testing можно добиться повышения прибыли при прежних расходах. Это значит, что не заниматься тестированием – примерно то же, что отказаться от маркетинга, только еще дороже.
• Миф 3. Сплит-тесты обычно показывают отрицательный результат, это приведет к потере денег. Многие проверяемые версии действительно не дают ожидаемых результатов и оказываются хуже исходной. Но неподтвержденная гипотеза и отрицательные тесты не означают, что вы будете постоянно терять прибыль, ведь тест длится ограниченное время. Когда же в ходе тестирований удастся найти эффективную версию, это обеспечит рост дохода на продолжительный период, что многократно компенсирует потери.
• Миф 4. У сайта низкий трафик, поэтому ничего тестировать пока нельзя. При низкой посещаемости действительно сложно проводить исследования с достаточной статистической значимостью, но это возможно. Если у вас недостаточно опыта, пригласите хорошего специалиста, который сможет выжать максимум полезной информации из ограниченных визитов пользователей.
• Миф 5. Чтобы тестировать, нужно много времени. Это действительно так, но эксперименты проводятся параллельно с развитием бизнеса и не препятствуют этому. Наоборот, по мере выявления эффективных решений, вы будете внедрять их. Оптимизация улучшит проект.
• Миф 6. Итогам сплит-тестирования нельзя верить. Если проводить тесты по правилам, которые описаны в этой статье, вы обязательно получите достоверные результаты.
• Миф 7. Мы хотим добиться большей посещаемости. Если трафик уже есть, пусть и небольшой, разумно использовать сплит-тесты для повышения конверсии, а не чтобы привлекать на сайт посетителей, которые не факт, что будут покупать.

Что делать после сплит-тестирования

Действия после окончания теста напрямую зависят от полученных результатов. Здесь может быть три варианта в зависимости от поученного результата:

• положительный;
• отрицательный;
• неоднозначный.

Ниже в статье разберемся, что делать в каждом случае.

Положительный

Когда итог теста говорит о том, что изменение эффективно, можно:

• приступить к внедрению изменений на сайте;
• показывать посетителям более эффективный вариант;
• продолжить тестирование, оставив для исходной страницы лишь 5% от всего трафика.

Если выбор сделан в пользу внедрения изменений, нужно обратиться к разработчикам сайта и передать им бриф с необходимой информацией для внесения корректировок на странице. Перед тем, как запустить обновленную версию, важно убедиться, что она является точной копией той веб-страницы, которая оказалась победителем в сплит-тесте.

Не рассчитывайте получить быстрые результаты. Изменению подверглась лишь незначительная часть страницы, а значит, ее влияние на прибыль может быть не таким существенным, как хотелось бы.

Если принято решение не вносить изменения на сайте сразу, а продолжить эксперимент, он все равно должен завершиться внедрением выигрышного решения. После этого можно приступать к поиску новых точек роста и тестировать новые гипотезы.

Отрицательный

Если тест показывает, что исходная страница сайта более эффективна, чем новая, это не говорит о бесполезности эксперимента. В ходе эксперимента все равно удается получить информацию о поведении и предпочтениях клиентов, что также можно использовать в дальнейшем. Зачастую отрицательный исход является плацдармом для выдвижения и проверки новых гипотез

Лучше всего заранее продумать, какие данные можно получить после окончания теста независимо от его исхода. Даже если итог окажется негативным, вы сможете собрать сведенья, которые помогут в будущем. Здесь особую роль играет сегментация и второстепенные показатели. Рекомендуется внести изменения в настройки теста и повторить его.

Неоднозначный результат

Он наблюдается при условии, когда разница между показателями тестируемых вариантов незначительная. В этом случае могут потребоваться более существенные корректировки или более глубокие идеи.

При неоднозначном результате сплит-теста нужно понять, с чем он связан, и попытаться изменить настройки или даже саму гипотезу.

Как понять, что показатели нужно учитывать

Чтобы проверить, можно ли учитывать полученные значения, стоит воспользоваться калькулятором достоверности или посчитать вручную. Разберем, как это сделать, на примере.

Предположим, тестировали кнопку с надписью «Купить» и «Заказать». В конце сплит-теста вариант с кнопкой «Купить» получил 60 конверсий, а страница с кнопкой «Заказать» – 40. Чтобы узнать, является ли полученное значение статистически значимым, используем формулу:

Подставим наши цифры:

Равенство верно, это значит, что данная разница в конверсии является значимой для статистики и ее можно брать за основу при внесении изменений на сайт.

Возможные ошибки при тестировании сайта

Не всегда удается гладко протестировать страницу. Многие сайты допускают ошибки, которые могут существенно исказить результаты и снизить эффективность эксперимента. Далее в статье разберем нюансы, которые могут препятствовать получению адекватных результатов.

• Тестирование проводится только один раз.
• Завышенные ожидания от единичных изменений.
• Параллельный запуск большого количества экспериментов.
• Отсутствие контроля качества проведения теста.
• Неосмысленное повторение чужого опыта «под копирку».
• Не учитывается влияние внешних факторов.
• Поспешные выводы, сделанные до завершения теста.
• Отслеживание только основных метрик.
• Тестирование разных вариантов поочередно.
• Разные ГЕО в настройках теста.
• Неправильное использование сервисов.
• Внесение изменений в настройки теста или на сайте в процессе эксперимента.

На этапе запуска сплит-теста необходимо проанализировать и учесть ряд внешних факторов, которые могут влиять на результаты, а также использовать аналитику для определения адекватного срока проведения тестирования.

Примеры сплит-тестов

Часто задаваемые вопросы

Заключение

Сплит-тестирование – действенный способ проверить, какой из предложенных вариантов позволяет получить лучшие значения наблюдаемых показателей. Различные его виды широко используют для поиска эффективного решения при тестировании страниц сайтов, лендингов, рекламы и даже писем для email-рассылок. На создание теста с помощью специальных инструментов уходит минимум времени, а полученные данные способны обеспечить рост прибыли на будущие годы.