Александр Олещук. События и а/б тесты как способ познать себя

Александр Олещук

На Convert.2014 Александр Олещук (юзабилити-аналитик и проектировщик e96.ru) выступил с интересным докладом про А/Б-тестирование.

Он рассказал и об основных ошибках, и о простых способах начать А/Б-тестирование.

Основные ошибки А/Б-тестирования

У меня нет-нет, да возникает импульс «психануть и всё переделать». Это даже близко не аналитика, и поступать так не надо. Здесь всё понятно :) А есть более тонкие ошибки.

1. Завышенные ожидания (привет, Amazon!)

Почти каждый, кто слышал про А/Б-тесты, попадает под очарование «сказки» про «длинную и короткую страницу на Амазоне». В менее изысканных случаях — про перекрашивание кнопки «заказать» и бешено возросшую конверсию.

Будьте готовы к скромным показателям. Кроме того, отсутствие какой-либо разницы — тоже результат.

2. Неоднородная выборка

Конверсия с SEO ≠ конверсии с контекстной рекламы. Нужен 1 тип трафика для теста.

3. Недостаточность выборки

 

Не надо так (про а/б-тестирование)

В докладе есть формула расчета минимальной выборки. Используйте её.

4. Неоднородность трафика

Конверсия с SEO может отличаться от конверсии с контекстной рекламы — нужен 1 тип трафика для теста.

Кроме того, следует проводить тестирование только на новых посетителях. Всё потому что старые клиенты уже имеют какой-то опыт (позитивный или нет), тогда как вам нужен взгляд «чистого листа».

5. Не определена гипотеза

Александр Олещук как бы говорит нам: ну кто же так тестирует?!

Александр Олещук как бы говорит нам: без гипотезы — ну кто же так тестирует?!

Заказчик обычно говорит: «Главное — чтоб стало больше денег». Это правильное направление, и в то же время оно нуждается в конкретизации.

Пример гипотезы: «дополнительные товары не увеличивают конверсию».

Такая гипотеза легко проверяется:

  • вы знаете, что вы собираетесь ввести,
  • вы знаете, как вы будете измерять эффект.

Сервисы для А/Б-тестирования

Саша очень рекомендовал сервис Optimizely.

Он позволяет запускать тесты без программистов. Для того, чтобы им пользоваться достаточно вставить 2 строки кода на нужную страницу.

Ограничения:

  1. Платность (не только у Optimizely — почти у всех подобных сервисов)
  2. Только фронт-энд. Если требуются серьезные тесты на уровне внутренней логики сайта — здесь нужны программисты.

 Презентация доклада

Александр Олещук «События и а/б тесты как способ познать себя» from it-people
Бая-я-янНе пригодитсяУже слышал об этомПолезноОчень полезно ← Оцените пост