Александр Олещук. События и а/б тесты как способ познать себя

На Convert.2014 Александр Олещук (юзабилити-аналитик и проектировщик e96.ru) выступил с интересным докладом про А/Б-тестирование.

Он рассказал и об основных ошибках, и о простых способах начать А/Б-тестирование.

Основные ошибки А/Б-тестирования

У меня нет-нет, да возникает импульс «психануть и всё переделать». Это даже близко не аналитика, и поступать так не надо. Здесь всё понятно 🙂 А есть более тонкие ошибки.

1. Завышенные ожидания (привет, Amazon!)

Почти каждый, кто слышал про А/Б-тесты, попадает под очарование «сказки» про «длинную и короткую страницу на Амазоне». В менее изысканных случаях — про перекрашивание кнопки «заказать» и бешено возросшую конверсию.

Будьте готовы к скромным показателям. Кроме того, отсутствие какой-либо разницы — тоже результат.

2. Неоднородная выборка

Конверсия с SEO ≠ конверсии с контекстной рекламы. Нужен 1 тип трафика для теста.

3. Недостаточность выборки

В докладе есть формула расчета минимальной выборки. Используйте её.

4. Неоднородность трафика

Конверсия с SEO может отличаться от конверсии с контекстной рекламы — нужен 1 тип трафика для теста.

Кроме того, следует проводить тестирование только на новых посетителях. Всё потому что старые клиенты уже имеют какой-то опыт (позитивный или нет), тогда как вам нужен взгляд «чистого листа».

5. Не определена гипотеза

Заказчик обычно говорит: «Главное — чтоб стало больше денег». Это правильное направление, и в то же время оно нуждается в конкретизации.

Пример гипотезы: «дополнительные товары не увеличивают конверсию».

Такая гипотеза легко проверяется:

• вы знаете, что вы собираетесь ввести,
• вы знаете, как вы будете измерять эффект.

Сервисы для А/Б-тестирования

Саша очень рекомендовал сервис Optimizely.

Он позволяет запускать тесты без программистов. Для того, чтобы им пользоваться достаточно вставить 2 строки кода на нужную страницу.

Ограничения:

1. Платность (не только у Optimizely — почти у всех подобных сервисов)
2. Только фронт-энд. Если требуются серьезные тесты на уровне внутренней логики сайта — здесь нужны программисты.

Подпишитесь на телеграм-канал «Промо Эксперт» с Евгением Летовым

• Делимся опытом в интернет-рекламе,
• Показываем кейсы
• Веселим через мемы.
• Публикуем бесплатные инструкции для самостоятельного продвижения.
• Сообщаем о вебинарах, семинарах, конференциях.

Подписаться на канал

Евгений Летов
основатель студии «Промо Эксперт»