Алгоритм.
Как улучшать продукт через тестирование гипотез

Предприниматели могут попадать в ловушку: «Люди не покупают, потому что дорого — надо сделать скидку». Или: «Клиент не понимает выгоду — надо добавить текста на сайт». Делают изменения, а продажи не растут. Делаем снова изменения и снова мимо. Деньги уходят, уверенность тает.

Проблема не в том, что идеи плохие. Проблема в том, что мы не проверяем их до того, как внедрять. Тестирование гипотез — это способ отделить работающие идеи от пустых. Это мостик между «нам кажется» и «мы точно знаем». При этом важно правильно формулировать гипотезы и опираться на цифры.

Шаг 1. Формулировка гипотезы

Самая частая ошибка — формулировать гипотезы размыто. «Надо улучшить сайт», «надо поработать с возражениями», «надо сделать цену ниже». Это не гипотезы. Это мечты.

Плохая гипотеза: «Люди не покупают, потому что дорого. Надо сделать скидку».

Хорошая гипотеза: «Если я предложу скидку 10% при заказе на сайте сегодня, то количество покупок вырастет на 20%, потому что клиентов останавливает цена, и скидка снизит барьер».

В хорошей гипотезе есть:

1. Конкретное действие (предложить скидку 10% сегодня).
2. Конкретный показатель (количество покупок).
3. Конкретное ожидание (вырастет на 20%).
4. Обоснование (потому что их останавливает цена).

Примеры правильных гипотез:

• Для сайта: «Если я добавлю на главный экран видео с разбором продукта, то время на сайте увеличится на 30 секунд, потому что клиенты смогут быстрее понять, как это работает».
• Для отдела продаж: «Если я научу менеджеров задавать вопрос „Что для вас важно при выборе?“ в первой минуте разговора, то конверсия в назначение встречи вырастет на 15%, потому что мы сразу попадем в потребность клиента».

Шаг 2. A/B-тестирование

A/B-тестирование — это эксперимент, в котором вы сравниваете два варианта чего-то одного: страницу сайта, кнопку, цену, текст объявления, скрипт продаж.

Одной группе клиентов вы показываете вариант А (как было раньше). Другой группе — вариант В (с вашим изменением). Потом смотрите: какой вариант сработал лучше.

A/B-тестирование подходит для тестирования гипотез в переписке, в личных продажах, в скриптах звонков. Главное — соблюдать чистоту эксперимента.

Шаг 3. Фиксация текущих и целевых цифр

Прежде чем запускать тест, нужно записать ответы на несколько вопросов.

1. Что именно вы тестируете? Зафиксируйте гипотезу в формате «если... то...». Повесьте гипотезу перед глазами, чтобы в процессе не отвлечься и не начать менять что-то еще.
2. Какой один показатель будете измерять? Показатель должен быть измерим. «Клиенты стали лучше относиться» — не показатель. «Выросло количество повторных покупок на такой то процент» — показатель. Добавим, что ключевые показатели бизнеса можно всегда найти в сервисе Отраслевые решения, который клиентам Сбера доступен бесплатно.
3. Какие данные есть сейчас? Зафиксируйте текущие значения. Если вы тестируете конверсию сайта — посмотрите, какая она была в прошлом месяце. Если тестируете скрипт продаж — посчитайте конверсию за последнюю неделю. Без этой цифры вы не поймете, стало лучше или хуже.
4. Как долго будет длиться тест? Тест должен идти достаточно долго, чтобы собрать статистически значимые данные. Если у вас мало трафика — неделя. Если трафика много — может хватить и дня. Но важно установить срок заранее и не останавливать тест раньше времени, даже если вам кажется, что «и так всё понятно».
5. Что может исказить результаты? Подумайте о внешних факторах.
6. • если вы тестируете в пятницу вечером — может быть мало трафика;
   • если начался сезон — спрос может расти сам по себе.
     
     Запишите все, что может повлиять на чистоту эксперимента. А лучше выбирайте для тестов нейтральное время.
6. Какой результат считаете успехом? Заранее решите: при каком значении вы внедрите изменение:
7. • если конверсия вырастет на 5% — внедряем;
   • если вырастет меньше — оставляем как было;
   • если упадет — отказываемся от гипотезы.

Пример: как интернет-магазин тестировал гипотезу

Ситуация: интернет-магазин детских игрушек, менеджеры часто слышат возражение «дорого» про наборы для творчества за 3000 руб.

Гипотеза: если мы добавим на карточку товара блок «Что входит в набор» с фотографиями каждого компонента, то конверсия в покупку вырастет на 15%, потому что клиенты увидят, из чего складывается цена, и поймут, что это не просто «коробка за 3000», а много разных материалов.

Что фиксируем до теста:

• текущая конверсия в покупку по этой категории — 2,5%;
• количество посетителей в неделю — около 500;
• тест проводим 2 недели (чтобы набрать статистику);
• успехом считаем рост конверсии более чем на 2,5%.

Как проводим: проводим А/В-тестирование. Неделю показываем старую версию страницы (без блока) одной половине посетителей. Второй половине — новую (с блоком). В конце недели сравниваем конверсии.

Результат: новой версии конверсия выросла до 3,2%. Гипотеза подтвердилась. Внедряем блок на все товары этой категории.

Теперь вы знаете, как правильно формулировать гипотезы и проверять их через А/В-тесты. Но прежде чем запускать сложные эксперименты и собирать статистику, стоит начать с самого простого и доступного инструмента — взглянуть на свой продукт глазами клиента. Часто именно этот шаг открывает глаза на вещи, которые не видны за отчетами и аналитикой. Давайте прямо сейчас попробуем себя в роли тайного покупателя.