Проверка гипотез – этапы и методики тестирования идей в бизнесе

Олег Вершинин автор статьи

24.08.2022

Обсудить

40 минут

  1. Что такое тестирование гипотез
  2. Для чего тестировать гипотезы
  3. Наиболее популярные виды проверок бизнес-гипотез
  4. Характеристики формирования гипотез для тестирования
  5. Поиск самых важных идей для проверки гипотез
  6. Этапы тестирования гипотез
  7. Как тестировать гипотезы
  8. Методики и инструменты тестирования
  9. Статистические гипотезы
  10. Этапы проверки статистических гипотез
  11. Нулевая и альтернативная гипотезы
  12. A/B тестирование для проверки гипотез
  13. Ошибки при тестировании гипотез
  14. Примеры тестирования гипотез крупных компаний
  15. Часто задаваемые вопросы
  16. Заключение
Раскрыть полностью

Процесс оптимизации любой стратегии неразрывно связан с проверкой гипотез. Со стороны может показаться, что это слишком сложно и больше относится к научной сфере, но все не совсем так. В маркетинге практически вся работа над проектом строится на основе его оптимизации, которая предполагает тестирование различных вариантов и предположений, то есть гипотез. В сегодняшней статье будем рассматривать, что такое проверка гипотез, для чего она нужна, как выполняется, какие инструменты и методики при этом используются, а также разберем самые частые ошибки.

Что такое тестирование гипотез

Прежде чем подойти к вопросу тестирования гипотез, рекомендую разобраться с тем, что такое гипотеза.

Представьте, что вы проводили анализ каких-либо данных, и в ходе работы к вам пришел инсайт (открытие, озарение) – вы внезапно поняли, что может быть больше одного варианта решения проблемы. На этом этапе в голове начинают формироваться идеи о том, как еще можно решить задачу. На основании идеи можно сформулировать гипотезу.

Гипотезой называется предположение, которое требуется доказать либо опровергнуть. В качестве предположения может выступать результат наблюдений или какой-то вариант развития событий.

Что такое гипотеза

Гипотеза

Чтобы было понятнее, рассмотрим пример.

Пример

Предположим, у вас на сайте есть 10 статей, три из них достаточно успешны: их читают, комментируют, делятся в социальных сетях. Вы обратили внимание, что эти статьи имеют более подробную структуру, написаны короткими абзацами.

В таком случае можно сформулировать гипотезу о том, что хорошо структурированные статьи с короткими абзацами получают лучший отклик.

Чтобы узнать, действительно ли это так, запускают тестирование, в ходе которого и проверяется гипотеза.

Проверка гипотез – это наблюдение и формирование предположений на основании полученных ранее данных с целью их подтверждения или опровержения научным методом.

Тестирование гипотез проходит в средних темпах, при этом протоколируется каждый этап исследования. По мере отслеживания результатов гипотеза постепенно меняется до получения удовлетворяющего вывода.

Для чего тестировать гипотезы

Благодаря проверке гипотезы можно выяснить, в какой вид необходимо ее привести, чтобы получить нужный результат. При этом требуется минимум затрат времени и денег, что позволяет экономить наиболее ценные ресурсы компании.

Для чего тестировать гипотезы

Для чего проверять

Давайте сформулируем основные причины, по которым рекомендуется тестировать гипотезы. Итак, это стоит делать, чтобы не…

  • сливать бюджет на реализацию неэффективных решений;
  • решать несуществующие проблемы;
  • предлагать продукт нецелевой аудитории;
  • вкладывать деньги в развитие малоэффективных каналов;
  • совершать ошибки при построении воронки продаж;
  • останавливаться на достигнутом.

Проверка гипотез нужна, чтобы:

  • иметь возможность выявлять неэффективное звено в маркетинговой цепочке, вовремя исправлять продукт, рекламную кампанию или бизнес-модель;
  • искать новую целевую аудиторию;
  • в случае ошибочного решения ограничиться минимальными потерями;
  • постоянно двигаться в сторону увеличения показателей, продаж и прибыли.

Практика крупный компаний показывает: чем больше гипотез будет проверено, тем скорее фирма начнет расти и получать прибыль.

Наиболее популярные виды проверок бизнес-гипотез

Тестирование гипотез в бизнесе может осуществляться разными способами. Ниже в статье рассмотрим самые распространенные методы, которые применяют продакт-менеджеры, маркетологи и бизнес-аналитики для теста разных теорий.

Виды проверок бизнес-гипотез

Виды проверок

Проверка мнением целевой аудитории

В условиях, когда нет данных о целевой аудитории и ее проблемах, гипотезы можно проверять с помощью анализа мнений потенциальных клиентов. Хотите узнать, что думает и говорит ваша ЦА, найти ответы на важные вопросы? Интернет открывает для этого практически неограниченные возможности. Просто создавайте выборочные обсуждения, опросы на интересующую тему и следите за ответами. Из них можно узнать о настоящих проблемах ЦА и использовать эти данные в основе проработки маркетинговой стратегии.

Идеально для этого подходят социальные сети, универсальные и тематические интернет-площадки, где представлена широкая аудитория пользователей.

Большая ошибка – искать респондентов в своем круге знакомых. Личные отношения могут повлиять на ответы и исказить результаты такого исследования.

Пост в социальной сети или на форуме, побуждающий пользователей к обсуждению какой-либо проблемы, не должен содержать:

  • упоминания о продукте или идее;
  • рассказа о компании;
  • готового решения.

Основная задача – подтолкнуть людей к тому, чтобы они высказались по теме, решили принять участие в обсуждении и рассказать о своих желаниях, предпочтениях, претензиях.

google form

Google form

Провести подробный опрос можно с помощью Google Формы. При этом собирать контактные и другие личные данные пользователей не нужно. Ответы на вопросы теста не должны занимать больше 5 минут.

Те, кто имеет возможность пообщаться с клиентом напрямую, могут провести небольшое интервью, задав человеку те же вопросы при личной беседе.

Проверка переходом

Узнать, есть ли у целевой аудитории живой интерес к продукту, можно, даже не имея самого продукта в завершенном виде.

Метод предполагает создание посадочной страницы с целью моделирования ситуации, будто продукт уже есть в наличии. При этом потребуются понимание того, кому и что вы собираетесь продавать, а в отдельных случаях и некоторая сумма денег.

В качестве каналов привлечения ЦА может использоваться:

  • реклама в соцсетях – запускается таргетинг, который ведет на лендинг (предполагает финансовые вложения);
  • контент маркетинг – пишется статья, посвященная продукту или популярной теме со ссылкой на страницу, и размещается на любых доступных площадках (ВКонтакте, Facebook, Яндекс Дзен и т. д.);
  • объявление на Авито, Юле и др. досках.

Вконтакте

Вконтакте

Привлеченных клиентов нужно активировать, чтобы узнать, действительно ли их уровень заинтересованности достаточный, чтобы совершить конверсионное действие. Это можно сделать, собирая контактные данные через форму обратной связи.

Проверка покупкой

В этом случае нужно не просто проверить, готов ли клиент выбрать товар и оставить заявку, но и подвести его непосредственно к покупке.

Если продукт отсутствует, однако вы хотите проверить гипотезу, можно использовать один из следующих способов.

  • Предзаказ – клиент оплачивает продукт, который еще не существует. Использовать этот вариант могут крупные компании, которые имеют стабильно хорошую репутацию. При этом в случае высокой заинтересованности клиентов будет стимул приступить к разработке нового продукта.
  • Заказ услуги через сайт – клиент оплачивает и получает некую услугу. Процесс этот длительный, требует определенных знаний и навыков, а также наличия на сайте системы оплаты.
  • Продажа продукта – клиент делает заказ через сайт и на последнем этапе его оформления видит сообщение, например: «Извините, товар отсутствует, но спасибо за то, что выбрали наш магазин. Получите бонус за неудобства».

В последнем случае стоит тщательно продумать риски и на высоком уровне проработать обратную связь. Первые два варианта требуют подготовки договора.

Проверка использованием

Придумать интересную идею – лишь половина дела, нужно еще проверить, как продукт или бизнес будет работать. Удобнее всего начинать с такого направления, которое не требует огромного штата сотрудников и в котором вы сами отлично разбираетесь. Например, вы хотите открыть фирму по приготовлению и доставке домашней еды. В этом случае главное – найти клиентов, а готовить и развозить первые заказы сначала можно своими силами, не нанимая работников.

Проверка использованием

Использование

В результате этого можно получить:

  • опыт прохождения всех этапов принятия, выполнения и доставки заказа;
  • обратную связь по различным вопросам, которые могут возникнуть в бизнесе, и его узкие места.

Проверка спроса разными способами

  • Продвижение «пустышки». Когда потенциальному клиенту не нужно тщательно тестировать продукт перед покупкой, можно проверять интерес к нему с помощью так называемой «пустышки» – оболочки без начинки.
  • Тестирование спроса на новую функцию. Это актуально для существующих продуктов. Чтобы не тратить деньги на реальную разработку функции, можно проверить, нуждаются ли пользователи в ней путем установки пустой кнопки (fake buttons).
  • Демонстрация видео о том, как работает продукт. Это поможет наглядно показать аудитории новый продукт со всеми его возможностями, дизайном и вариантами применения.

Оценка запуска

В случае, если гипотеза проверялась путем запуска посадочной страницы и привлечения трафика на нее, можно приступать к оценке первых результатов при следующих условиях:

  • события передаются в аналитику и можно увидеть, чем занимаются пользователи на лендинге;
  • есть данные о том, откуда приходят посетители;
  • минимум 600-1000 пользователей зашли на посадочную страницу, что позволяет сделать первые выводы;
  • четко определено целевое действие (оплата, контакты, заказ звонка, заполнение формы);
  • значение стоимости привлечение клиентов (CAC) является приемлемым.

Важнейшим результатом проверки гипотезы посадочной страницей будет воронка продаж для определенной группы ЦА и конкретного канала, по которому приходят клиенты. Если стоимость привлечения одного клиента соответствует нормальному значению, можно продолжать работу. Если же CAC заставляет работать в минус, нужно что-то менять и тестировать заново.

Характеристики формирования гипотез для тестирования

Чтобы правильно сформулировать гипотезу, необходимо соблюдать следующие принципы:

Характеристики формирования гипотез

Использование
  • четкость, конкретика – нужно обозначить определенный результат, при котором гипотеза будет подтверждена;
  • измеримость – важно определить метрики (переменные), значения которых будут отслеживаться на протяжении всего исследования;
  • достижимость, пригодность для тестирования – стоит объективно оценить вероятность подтверждения или опровержения нулевой гипотезы, учесть, имеются ли возможные ограничения в процессе тестирования;
  • дискретность – гипотеза должна охватывать только одну конкретную тему, которую нужно проверить;
  • значимость, жизнеспособность – затраченные силы на реализацию гипотезы должны быть сопоставимы с предполагаемой выгодой (не обязательно материальной) от ее внедрения;
  • ограниченность во времени – для оценки результатов тестирования должен быть установлен определенный срок;
  • исполняемость – нужно оценить, насколько реально внедрить гипотезу, если мы ее принимаем;
  • желаемость – действительно ли такое внедрение необходимо потребителю;
  • репрезентативность данных – важно правильно сформировать выборку, чтобы сделать корректные выводы;
  • системность проведения тестирования – исследование нужно проводить несколько раз на одной и той же ЦА, затем данные сравниваются для улучшения точности тестирования;
  • опровержимость – нет смысла тестировать гипотезы, подтверждение которых очевидно.

Поиск самых важных идей для проверки гипотез

При построении гипотез для обеспечения последовательности и структурированности их проверки важно каждой из них присвоить определенный приоритет. Не каждая идея становится гипотезой, поэтому начинать стоит с сортировки и приоритизации идей.

Поиск самых важных идей

Использование

Сортировка идей

Необходимо выполнить распределение идей по нескольким параметрам, один из них – достаточность источников. Подтверждать, что идея работоспособна, должны минимум два источника (например, карта кликов, опрос, системы веб-аналитики и т. д.).

Сортировка идей

Сортировка идей

Также определить ценность идеи можно, руководствуясь техникой «пять почему». Просто спросите, почему так получилось, при обдумывании проблемы и повторяйте этот вопрос, пока не доберетесь до истинной причины. Каждый ответ может стать идеей для формирования гипотезы.

В отдельную категорию стоит вынести некоторые очевидные идеи, которые нет смысла тестировать. Это могут быть, например, ошибки в коде страница сайта, проблемы с версткой и т. д.

Приоритизация идей

Чтобы понять, какие идеи более перспективны и с какими стоит работать в первую очередь, необходимо правильно расставить приоритеты. Сделать это помогают специализированные инструменты.

Например, система Additive предлагает построить таблицу и указать в ней условия, которые могут быть значимы для проекта. Примеры таких параметров:

Значимые параметры

Параметры
  • доступность отслеживания основной метрики;
  • охват;
  • отказы;
  • частота взаимодействия;
  • ценность станицы;
  • влияние трафика;
  • легкость;
  • размер выборки;
  • серьезность проблемы и т. д.

За каждое соответствие какому-либо условию идея получает 1 балл. Несоответствия получают нуль баллов. Все баллы суммируются. Таким образом оценивается каждая идея, затем суммарные значения сравниваются. Чем больше набрано баллов, тем выше приоритет у идеи.

На основании идей, которые имеют достаточно параметров, формируются гипотезы. Причем, одно и то же предположение может лежать в основе нескольких гипотез.

Гипотезы впоследствии тоже подлежат приоритизации.

Приоритизация гипотез

Чтобы понимать, в каком порядке проверять гипотезы, им тоже нужно присвоить приоритет. Это можно сделать разными методами, рассмотрим, как пример, самые популярные.

методы приоритизации гипотез

Методы

ICE / RICE Score

Каждая гипотеза оценивается по 3 параметрам:

  • impact – влияние на целевую метрику;
  • confidence – достоверность результата;
  • effort – усилия для внедрения гипотезы.

В некоторых случаях добавляется еще один параметр:

  • reach – охват пользователей, которых затронет изменение.

Для оценки применяется балльная система. Каждой гипотезе присваиваются значения от 1 до 10 для каждого параметра, после чего суммируются. Гипотезы с наибольшим количеством баллов получают высокий приоритет и тестируются в первую очередь.

Метод подходит при запуске на рынок нового продукта и внедрении дополнительного канала коммуникации с клиентами или их обслуживания. Если задача состоит в том, чтобы улучшить текущий продукт, лучше выбрать другие методы.

Lean Prioritization

Метод предполагает использование матрицы, с помощью которой можно определить, что нужно считать более и менее важным, что можно отложить на потом, а от чего стоит вовсе отказаться.

Lean Prioritization

Lean Prioritization

Методика хорошо показывает себя при оценке бизнес-модели, помогает, если вы хотите разработать новый продукт и вывести его на новый рынок.

Матрица Кано

Дает возможность оценить эмоциональную реакцию ЦА на характеристики продукта. Это отличный метод, когда нужно усовершенствовать товар или услугу, повысить лояльность и удовлетворенность клиентов.

Матрица Кано имеет вид графика, где по горизонтальной оси откладывается параметр «функциональность», по вертикальной – «удовлетворенность». Затем строятся графики пяти категорий продукта:

Матрица Кано

Матрица Кано
  • обязательные – без них использовать продукт невозможно;
  • одномерные – удовлетворенность непосредственно зависит от функциональности;
  • привлекательные – необязательные, но способны повысить ценность продукта в глазах потребителя;
  • неважные – не влияют на степень удовлетворенности ЦА;
  • нежелательные – их развитие снижает удовлетворенность потребителей.

Этапы тестирования гипотез

Гипотезы могут быть разные по своему масштабу и сложности, поэтому проверка может длиться как несколько часов, так и несколько недель. Стандартно тестирование разделают на несколько этапов. Рассмотрим пошаговый план проверки гипотезы.

Этапы тестирования гипотез

Этапы проверки

Шаг 1. Определение объекта тестирования. Это та метрика или опция, которую нужно улучшить. Например, объем охвата, конверсия, открываемость писем email-рассылки. Определить, что нужно протестировать, поможет веб-аналитика, сквозная аналитика, а также внутренняя CRM.

Шаг 2. Формулировка гипотезы. Это именно то предположение, которое нужно доказать или опровергнуть в процессе обработки и анализа данных. Если гипотеза не будет подтверждена, это тоже результат, который поможет сформулировать следующее предположение.

Шаг 3. Определение переменных. Независимо от способа проверки гипотезы нужно четко обозначить, как изменится объект в случае внесения корректировок. Например, синяя кнопка поменяется на красную. Это изменение и предстоит протестировать.

Шаг 4. Определение длительности тестирования. Срок проверки гипотезы зависит от нее самой. Обычно цикл тестирования измеряется неделями. При этом нужно учитывать фактор сезонности. A/B-тестирование рекомендуется проводить не меньше 2 недель. Если стоит задача сравнить показатели (например, за месяц), необходимо брать во внимание один и тот же период.

Шаг 5. Проверка гипотезы. На данном этапе есть исходная или нулевая гипотеза и альтернативная (та, которую нужно проверить). Необходимо определиться с методом тестирования (сплит-тестирование или мультивариантное) и можно начинать проверку.

Шаг 6. Анализ результатов. По итогам проверки гипотезы становится понятно, какая гипотеза подтверждается – альтернативная или нулевая. Если исследуемая гипотеза не доказана, важно разобраться, почему и что при этом нужно доработать.

Шаг 7. Внедрение изменений или работа над ошибками и проверка новой гипотезы. Если тестируемая гипотеза подтвердилась, предстоит ее внедрить. В противном случае нужно:

  • переформулировать гипотезу;
  • уточнить ее цель;
  • охватить больше данных;
  • изменить их структуру;
  • увеличить время тестирования.

Эти действия повторяются, пока не будет получен нужный результат.

Как тестировать гипотезы

Для эффективного тестирования гипотез рекомендуется придерживаться ряда правил.

Правила тестирования гипотез

Командная работа
  • Старайтесь тратить на запуск одного теста не более 6 часов, это позволит проверять до 15 гипотез еженедельно.
  • Каждый день фиксируйте статус каждой тестируемой гипотезы. Пример параметров статуса: этап проверки, ее продвижение, блокирующие факторы.
  • Не останавливайте тестирование гипотезы, пока не будут получены результаты с достаточной статистической значимостью.
  • Проверяйте потребность рынка в продукте перед его выпуском.
  • Старайтесь определить запросы ЦА как можно точнее и найти общее понимание проблемы.
  • Не отказывайтесь сразу использовать малоэффективные гипотезы, пробуйте доработать их.
  • Перед проверкой гипотезы оценивайте, сколько будет стоить ее внедрение и сколько вы сможете на этом заработать.

Методики и инструменты тестирования

В зависимости от специфики бизнеса и формулировки предположения для проверки гипотезы могут применяться разные методики и инструменты. В этой статье мы хотим разобрать самые популярные из них, которые вы сможете использовать в своих исследованиях.

Методики и инструменты тестирования

Методики

HADI-циклы

Метод HADI-циклов можно без сомнений назвать одним из самых часто применяемых при проверке гипотез, связанных со стартапами. Простота метода позволяет его использовать даже тем, кто никогда не имел дела с бизнесом и аналитикой.

HADI представляет собой бесконечный цикл, включающий 4 составляющие:

hadi

HADI
  • hypothesis – формирование гипотезы;
  • action – проверка гипотезы;
  • data – получение измеримого результата;
  • insights – выводы, которые лягут в основу формулировки последующих гипотез.

В данном случае проверка гипотез имеет замкнутый цикл, в котором непосредственно тестирование – лишь один из этапов.

При этом важно:

  • сформулировать гипотезу правильно;
  • выделить показатель, который будет отражать пользу от внедрения гипотезы;
  • продумать сбор, анализ и оценку результата;
  • запустить одновременно проверки двух и более гипотез (если есть такая возможность).

Основная цель данного метода – выявить в бизнесе то, чем аудитория заинтересуется больше всего, что захочет получить.

Качественное исследование (интервью)

Этот метод проверки гипотез практически не требует вложений, поэтому применяется очень часто в тех сегментах, где можно взять интервью у клиента.

Исследование интервью

Интервью

Интервью – качественное исследование (customer development), которое предполагает прямой разговор с представителями целевой аудитории. Оно позволяет быстро протестировать разные идеи, в том числе:

  • изучить каналы коммуникации с клиентами;
  • найти новые сегменты потребителей;
  • проверить, как позиционируется продукт на рынке.

Результаты интервью помогают:

  • определиться с вариантом демонстрации продукта на выставке или презентации;
  • расставить акценты на определенных особенностях для каждой группы ЦА;
  • выбрать информационные каналы, с помощью которых информация будет доводиться до каждой группы потенциальных клиентов (в том числе с их согласия).

Интервью бывают двух видов:

  • проблемные – дают возможность узнать о неочевидных болях ЦА, проверить гипотезу;
  • решенческие – благодаря им можно протестировать прототип или решение на реальных потребителях.

Для проверки гипотезы, которая предполагает незначительные изменения продукта, обычно достаточно 5-7 интервью. Если исследование выполняется в рамках вывода на рынок абсолютно нового продукта, может потребоваться использовать до 70 интервью.

Количественный опрос

Проводить исследование путем опроса потенциальных потребителей можно, используя специализированные сервисы (например, инструмент Survey Monkey). С их помощью можно создавать анкеты, собирать ответы пользователей в единый отчет, просматривать и использовать статистику.

Ссылку на анкету с вопросами можно добавить в социальных сетях или на сайте, выбрав нужную аудиторию для проведения опроса.

SWOT-анализ

Это довольно известная система стратегической проверки бизнеса, которая также отлично подходит для тестирования гипотез.

элементы SWOT-анализа
Элементы SWOT

SWOT расшифровывается как:

  • strengths – преимущества или сильные стороны;
  • weaknesses – слабости;
  • opportunities – возможности;
  • threats – угрозы.

В перечисленные 4 пункта можно уложить все характеристики проекта или бизнеса, чтобы определить, что в конкретный момент особенно важно, и подумать, как улучшить ситуацию.

Матрица SWOT-анализа имеет следующий вид:

Факторы

Положительные

Отрицательные

Внутренние

Преимущества

Слабости

Внешние

Возможности

Угрозы

Внутренние факторы (преимущества и слабости) оказывают внутреннее влияние на бизнес и поддаются изменениям в лучшую сторону. Внешние (возможности и угрозы) соответствуют особенностям среды, в которой фирма работает, и зачастую не могут быть изменены.

SWOT-анализ можно использовать для проверки гипотез стартапов.

A/B тесты

A/B-тестирование или сплит-тестирование применяется, когда стоит задача сравнить два варианта, отличающиеся друг от друга одним измененным элементом, и определить, какой из них положительно влияет на KPI или на конверсию.

Сплит-тестирование
Сплит-тестирование

Чаще всего этот инструмент используется в интернет-маркетинге. Например, когда нужно сравнить две посадочные страницы с заголовком, расположенным по центру и слева. Обе страницы идентичны, отличается только один элемент – заголовок.

Важно продолжать исследование, пока не будут получены необходимые для статистики значения достаточного уровня значимости.

С помощью сплит-тестирования можно отследить причинно-следственную связь изменений.

Мультивариативное тестирование (MVT)

Это подвид A/B-тестирования, при котором сравнивается два продукта, но не целиком, а по составным частям, представленным в разных сочетаниях. Каждый исследуемый элемент может иметь два вида.

Методика позволяет проверить одновременно несколько гипотез и понять, что именно хорошо сказывается на конверсии.

Методы проверки гипотез в сегменте B2B

Когда конечными потребителями продукта являются другие компании, при проверке гипотез существуют свои особенности. В сегменте B2B идеи тестируют следующими способами:

гипотезы в сегменте B2B

Методы в B2B
  1. JTBD-интервью. В ходе диалога четко соблюдается концепция Jobs to be Done. Это значит, что нужно не просто определить, что необходимо клиенту, а что нет, но и узнать, как он решает свою проблему в настоящее время, а также что, по его мнению, нужно сделать, чтобы повысить успешность реализации.
  2. Экономическое обоснование. Если предложить потенциальному клиенту что-то, что поможет ему сэкономить, он с большей долей вероятности решится на покупку. Пример – 20% скидка на использование продукта в течение года. Поэтому хорошее финансовое обоснование может послужить поводом для разработки продукта.
  3. Публичные мероприятия. Организовав семинар, можно с минимальными вложениями определить, насколько потенциальные клиенты заинтересованы в продукте. Примеры, которые говорят об успехе мероприятия: большое количество регистраций, положительные отзывы.
  4. Работа с экспертами в отрасли. Практически в каждой сфере есть специалисты, которые посвятили десятилетия работе над определенными проблемами. Если отыскать такого человека и задать ему даже малую часть вопросов, то удастся получить столько полезной информации, сколько не дала бы и сотня интервью с клиентами.
  5. MVP на основе изображений. Этот метод позволяет с высокой достоверностью проверить гипотезу. Можно сколь угодно много привлекать клиентов скидками и бонусами, но настоящую заинтересованность способны отразить только покупки. В этом помогает минимально жизнеспособный продукт.

Другие простые и быстрые методы проверки гипотез

  • Тестирование внутри компании.
  • Опрос ближайшего окружения (коллег, партнеров, друзей).
  • Распространение листовок с разными тестируемыми вариантами и QR-кодом для перехода на сайт, в чат-бот или мессенджер.
  • Анализ поисковых запросов в Яндекс и Google.
  • Оценка конверсии на YouTube.
  • Оценка спроса путем предложения бесплатной пожизненной подписки на материалы, которые вскоре будут платными.
  • Создание тестового продукта с помощью зерокодинга.
  • Измерение трафика на специально созданный лендинг.
  • Краудфандинг.
  • Проверка гипотезы с помощью мессенджеров и тематических сообществ.

Статистические гипотезы

Статистическая гипотеза – это то или иное предположение, касающееся свойств или вида распределения случайных величин, которое необходимо проверить в ходе эксперимента. Такие гипотезы выдвигают, когда нужно понять, является ли наблюдаемое значение случайным явлением или это следствие проведенных мероприятий.

Статистические гипотезы

Статистические гипотезы

Статистические гипотезы бывают:

  • параметрические – когда известен закон нормального распределения вероятностей, но нет данных о его параметрах (математическое ожидание или дисперсия) в определенной ситуации;
  • непараметрическая – когда неизвестен закон распределения генеральной совокупности, но можно предположить его вид.

По сложности различают гипотезы:

  • простые – с единственным предположением;
  • сложные – с несколькими предположениями.

Классификация гипотез по содержанию:

  • о типе вероятностного закона распределения случайной величины – соответствует характеристикам процесса или явления;
  • об однородности обрабатываемых выборок – используется две и более генеральных совокупностей для исследования свойства;
  • о свойствах числовых значений параметров выборки, которая участвует в исследовании;
  • о вероятностной зависимости двух и более признаков, которые характеризуют разные свойства исследуемого процесса или явления.

Статистический критерий – однозначное и конкретное условие, при удовлетворении которого исследуемая гипотеза принимается или отвергается.

Этапы проверки статистических гипотез

Проверка статистических гипотез осуществляется по следующему алгоритму:

  1. Формулируем нулевую и альтернативную гипотезы (Н0 и Н1).
  2. Выбираем статистический критерий для проверки гипотезы.
  3. Указываем уровень значимости α. Обычно речь идет об уровне значимости 0,05 (5%), но применяют также значения при уровне значимости 1% и 10%).
  4. Определяем крайние точки (границы) области подтверждения гипотезы.
  5. Делаем вывод о доказательстве или опровержении гипотезы H0.

Ошибки 1 и 2 рода

Ошибки 1 и 2 порядка

В процессе проверки статистической гипотезы есть вероятность ошибки первого или второго рода.

  • Ошибка первого рода – когда верная основная гипотеза отвергается.
  • Ошибка второго рода – когда ложная основная гипотеза принимается.

Область принятия гипотезы (ОПГ) представляет собой подмножество значений статистического критерия, включая значение нуль, при которых нельзя отвергнуть основную гипотезу.

Критической областью называют подмножество значений, при которых невозможно принятие основной гипотезы. Попадание в критическую область определяет критическое значение, которое для односторонней и двусторонней областей рассчитывается по разным формулам. Если есть альтернативная гипотеза, выбор критической области имеет свои нюансы.

Выводы о принятии или отвержении основной гипотезы делаются на основании расположения значения критерия на шкале критических областей и области принятия гипотезы. Если найденный в результате исследования критерий принадлежит ОПГ, основная гипотеза принимается. Если значение критерия попадает на интервал, где находится критическая область, принимается альтернативная гипотеза.

Разберем некоторые разновидности статистических гипотез и процесс их проверки.

Гипотеза о генеральном среднем значении нормального распределения при условии неизвестной дисперсии.

Предположим, что генеральное среднее = α. При таком уровне значимости необходимо проверить нулевую гипотезу о том, что Х = а.

Статистикой является случайная величина

Случайна величина T


где присутствует распределение Стьюдента с числом степеней свободы n – 1. Найдем экспериментальное значение tэкс. Пользуясь таблицей критических точек распределения Стьюдента, определяем критическое значение tкр. В случае альтернативной гипотезы X > a оно соответствует числу степеней свободы n – 1 и уровню значимости α. Нулевую гипотезу можно принять, если tэкс < tкр, в обратном случае ее необходимо отклонить. Если альтернативная гипотеза Х ≠ а, то критическое значение соответствует тому же числу степеней свободы и уровню значимости α / 2. Принять нулевую гипотезу можно, если |tэкс| < tкр.

Гипотеза о генеральной дисперсии нормального распределения.

Ее суть похожа на предыдущую гипотезу. Предположим, что есть генеральная дисперсия σ2 нормальной совокупности, которая равна какому-то значению σ02. На основании выборки n-объема удалось найти исправленное выборочное отклонение s2. Теперь нужно определить, значимо или незначительно отличаются значения. На уровне статистической значимости α проверим нулевую гипотезу σ2 = σ02.

Для этого используем критерий

Критерий x2


где S2 – случайное значение исправленной дисперсии. Эта величина имеет распределение хи-квадрат с числом степеней свободы k = n – 1. Может принимать только неотрицательные значения. Если альтернативная гипотеза соответствует σ2 < σ02, строится левосторонняя критическая область. Для H1 σ2 > σ02 строится правосторонняя критическая область. Если проверяется гипотеза σ2 ≠ σ02, требуется построить двустороннюю критическую область. Когда статистические критерии (их значения) находятся в любой критической области, гипотеза Н0 отвергается.

Гипотеза о равенстве двух средних значений больших независимых выборок (произвольно распределенных генеральных совокупностей).

Проверяем некоторую нулевую гипотезу Х ≠ Y при значении уровня значимости – α. Если обе выборки большого объема, можно принять, что выборочные средние имеют нормальное распределение и известные числа дисперсий.

В таком случае для статистики будет использоваться случайная величина

Случайна величина Z


с нормальным распределением.

Предстоит найти экспериментальное значение Zэкс, а критическое значение Zкр взять из таблицы функции Лапласа. В случае альтернативной гипотезы X > Y Zкр можно определить из условия F(Zкр) = 0,5 – а. Когда Zэкс < Zкр, принимаем нулевую гипотезу, обратная ситуация требует ее отклонения. Если альтернативная гипотеза X ≠ Y, критическое значение можно найти по условию F(Zкр) = 0,5 × (1 – а). Принять H0 можно при условии, что |Zэкс| < Zкр.

Гипотеза о виде распределения генеральной совокупности.

Нулевая гипотеза о некотором распределении генеральной совокупности выдвигается, как правило, на основании данных выборки из нее и выражается через функцию распределения F(x) – это теоретическое распределение. Выборка также помогает найти эмпирическую функцию распределения F*(x). H0 допустимо принять, если эмпирическое и теоретическое распределения согласуются. Проверить такую гипотезу можно с помощью разных критериев согласия, но чаще применяется критерий Пирсона. Он предполагает разделение области изменения генеральной совокупности на несколько разных по длине интервалов. По выборке с применением тех же интервалов формируется вариационный ряд. Теоретическое распределение полностью определяется на основании найденных по выборке оценок параметров теоретического распределения.

Гипотеза о том, что корреляционная связь существенна.

При заданном уровне значимости α проверяем H0, при которой r = 0. Предполагается, что величины не связаны друг с другом, если коэффициент корреляции равен нулю.

В таком случае статистикой можно принять случайное значение

Случайное значение T


с распределением Стьюдента, число степеней свободы f = n – 2. Проверить такую гипотезу можно аналогично первому примеру.

Нулевая и альтернативная гипотезы

Нулевая гипотеза, она же основная или исходная – предположение, которое принимается по умолчанию и соответствует утверждению, что между исследуемыми событиями не существует связи.

типы гипотез
Виды гипотез

Простой пример. Допустим, вы решили сделать изображения на одном из лендингов интернет-магазина крупнее, чтобы привлечь столько же пользователей, сколько получает другой лендинг с более крупными изображениями. В этом случае нулевая гипотеза будет звучать так: количество привлеченных пользователей не зависит от размера изображений.

Альтернативная или конкурирующая гипотеза – это предположение, которое противоречит нулевой гипотезе.

Таким образом, задача исследователя – проверить, действительно ли альтернативная гипотеза верна. В нашем примере она будет заключаться в том, что после увеличения размера изображений удастся привлекать больше пользователей на лендинг.

A/B тестирование для проверки гипотез

A/B-тестирование (сплит-тестирование) является методом раздельного тестирования т. е. предполагает сравнение двух вариантов – контрольного (A) и тестового (B). При этом статистика собирается по обоим вариантам, затем сравнивается.

Формулировка устойчивой гипотезы
Тест

A/B тестирование проводится в несколько этапов:

  1. Формулировка гипотезы.
  2. Определение предмета тестирование. Эксперимент предполагает трансформацию лишь одного элемента страницы.
  3. Определение продолжительности теста. Она определяется посещаемостью сайта и не должна быть слишком мала. Минимальный срок – 14 дней.
  4. Обеспечение идентичного трафика на каждый тестируемый вариант страницы.
  5. Контроль проведения тестирования, сбор и анализ результатов, проверка их статистической значимости (рассчитывается по формуле).

Ошибки при тестировании гипотез

Далее постараемся рассмотреть как можно больше ошибок, которые допускаются чаще всего при проверке альтернативных гипотез в статистике. Для удобства каждую ошибку и некоторые способы их решения отобразим с помощью таблицы.

Ошибка

Как исправить

Мало времени на проведение исследований

  • Определяйте цели каждую неделю.
  • Выделяйте какое-то время раз в неделю на проверку и корректировку гипотез.

Слишком большие затраты времени на тестирование идей

  • Указывайте четкие сроки для проведения исследований и анализ данных.
  • Разграничивайте обратимые и необратимые решения.
  • Руководствуйтесь логикой и фактами.

Несопоставимость данных из-за проверки гипотез в разных потребительских сегментах

  • Используйте карточки тестирования.
  • Формируйте фокус-группу с высоким уровнем осведомленности.
  • Стремитесь, чтобы каждый участник хорошо ориентировался в предмете и контексте исследования, знал точные показатели эксперимента.

Слабые данные

  • Не доверяйте на 100% словам респондентов.
  • Используйте призывы к действию в экспериментах.
  • Ищите данные, максимально приближенные к исследуемым ситуациям.

Тестирование неважных гипотез

  • Стремитесь к распределению гипотез по принципу убывания приоритета.
  • Тестируйте в первую очередь идеи с высоким приоритетом.

Предвзятое пренебрежение доказательствами, которые идут в разрез с предложенной гипотезой, привязанность к одной идее

  • Задействуйте разных людей на этапе анализа результатов.
  • Предлагайте больше примеров альтернативной гипотезы для более скептического отношения к своим идеям.
  • Проверяйте каждую гипотезу с помощью разных экспериментов.

Поиск подтверждений гипотезы вместо ее проверки

  • Стремитесь к поиску истинно верного решения.

Недостаток экспериментов

  • Выделяйте время на полноценную проверку важных гипотез.
  • Разделяйте сильные и слабые доказательства.
  • Усиливайте аргументы, чтобы избежать неопределенности.

Отсутствие способности учиться и вносить корректировки

  • Обобщайте собранные данные, делайте выводы и корректируйте гипотезы.
  • Стремитесь к правильному соотношению углубленная проверка/общая картина, отслеживайте закономерности.
  • Практикуйте ритуалы и поощрения

Поручение тестирования сторонним лицам (аутсорсинг)

  • Вкладывайте деньги в свою команду.
  • Формируйте собственную группу специалистов-тестировщиков.

В таблице мы разобрали 10 ошибок, которые являются самыми часто допускаемыми на деле в статистике. Надеемся, что вы не столкнетесь с ними в своей практике.

Примеры тестирования гипотез крупных компаний

Рассмотрим кейсы знаменитых корпораций и посмотрим, как они решали поставленные задачи.

Пример 1 – Google

Компания Google в 2009 году запустила крупнейшую проверку гипотез: тестированию подверглись оттенки голубого цвета в количестве 41 единицы. Стояла задача узнать, какой оттенок окажется наиболее эффективным и приемлемым для всей платформы. При этом один оттенок использовался на главной странице поисковика, другой – в почтовике Gmail.

Это тестирование проводилось в разрез с мнением специалистов, поэтому в конечном итоге ушел из компании главный дизайнер Дуглас Боумен, не согласившись работать в условиях тестирования «каждой мелочи».

Пример 2 – «МегаФон»

Будучи мобильным оператором, компания «МегаФон» решила покорить мир киберспорта. Это чрезвычайно сложная тема со своими особенностями, в которой практически никогда нет места тем, кто не увлекается геймингом.

Чтобы внедриться в гейминг-сферу, «МегаФон» решил работать с ESforce, который занимал позицию крупнейшего российского холдинга в области киберспорта. Совместно они организовали масштабную интеграцию, которая охватила целый киберспортивный мир ESforce.

В проекте были задействованы кибер-звезды и блогеры, запущена онлайн-студия, где освещались кибер-матчи в социальных сетях, а также проводился свой гейминг-турнир «МегаФона». Все это позволило охватить более 70% ЦА.

Гипотеза оправдалась, а «МегаФон» стал наиболее знаковым оператором в индустрии гейминга.

Часто задаваемые вопросы

Начнем с того, кому проверка гипотез ни к чему. Это магазины, которые продают товары первой необходимости. Яркий пример – хлебобулочный киоск. Нечего тестировать и владельцам существующего бизнеса, который предлагает доведенные до идеала товары или услуги.

Проверять гипотезы необходимо тем, кто только создает продукт и не может знать, будет ли спрос у аудитории, будут ли потребители готовы платить за него.

После завершения теста проверьте по целевым метрикам полученные результаты. Для этого хорошо подойдет сквозная аналитика. Старайтесь собрать максимум данных. Чем их больше, чем легче понять причину успешности или провальности конкретной гипотезы. Также с помощью аналитики можно выяснить, требуется ли повторное тестирование гипотезы.

  • Масштабируйте и прорабатывайте успешные гипотезы.
  • Отказывайтесь от провальной гипотезы, если испробованы все способы сделать ее успешной.
  • Проинформируйте о сделанных выводах по идеям смежные команды, которые имеют к ним отношение.

Проверка гипотез – цикличный процесс, который предполагает постоянное тестирование и усовершенствование идей. Если вам кажется, что эксперимент показал недостоверные результаты, всегда лучше его повторить.

Минимально допустимая продолжительность эксперимента – 7 дней. В целом срок проверки гипотезы зависит от того, как скоро будут получены статистически значимые результаты.

Действительно хорошая гипотеза отвечает на 5 вопросов:

  1. Какое изменение нужно внедрить?
  2. Какой результат должен быть получен или как будет измеряться успех от внедрения гипотезы?
  3. На ком будет проверяться гипотеза?
  4. На сколько будет изменена метрика? (5-10-100%).
  5. Как долго будет проводиться тестирование?

При настройке рекламы укажите минимальный бюджет. Это увеличит время исследования, но вы все равно будете продолжать получать заявки.

Тестируйте те элементы, которые незначительно отличаются от основной рекламы, если наблюдается прирост заявок.

Максимально снижайте стоимость клика по рекламе в РСЯ, Adsense, MyTarget, Facebook Ads.

При запуске A/B-теста или многовариантного теста тоже можно задать вопрос, соответствующий предположению, и по результатам тестирования получить ответ на него. Тем самым мы подтверждаем или отвергаем нулевую гипотезу.

  • Еженедельно собирайте всю команду и обсуждайте результаты завершенных проверок, генерируйте новые гипотезы, отбирайте самые эффективные и быстро тестируемые идеи, при распределении задач между членами команды учитывайте их специфику и уровень значимости в рамках общей цели.
  • Поручайте лидеру контролировать процесс проведения экспериментов и собирать данные по тестируемым гипотезам.
  • Фокусируйте команду на 1-2 ключевых метриках продукта, чтобы иметь возможность правильно расставить приоритеты.
  • Коллективно празднуйте общие победы команды.

Заключение

Проверка гипотез – неотъемлемая часть работы по оптимизации любой стратегии. Применяя различные методы тестирования идей, можно просто и успешно выполнять множество задач: повышать показатели конверсий, увеличивать трафик, стимулировать рост прибыли и многое другое.

Нашли ошибку в тексте? Выделите нужный фрагмент и нажмите ctrl + enter

Почитать еще

Что нового в интернет-маркетинге?

Подпишись на рассылку и будь в курсе новых событий!

Только самое полезное, никакого спама

У вас есть интересный материал?

Вы можете опубликовать свою статью в нашем блоге!

Жмите на кнопку и присылайте свою статью

Предложить статью