Можно экспериментировать с иллюстрациями, текстом, размещением кнопки на странице и быстрыми ссылками. Таким образом, можно провести в Яндекс Директ A/В-тест любого элемента контекстного объявления. В нашем примере мы также запустили два одинаковых сайта в тест Google Optimize. Тестировали две одинаковые версии, смотрели за разницей конверсии в течение 2–4-х недель. Разницы не обнаружили, всё прошло ровно, поэтому перешли к следующему этапу. В А/В-тесте сайта и квиза компании по покупке подержанных автомобилей Google Optimize самостоятельно определил, когда наступила статистическая значимость.
Заголовок статьи – первое, что видит пользователь, решивший посетить ваш сайт. Если заголовок изначально не привлекает внимание приходящей аудитории и не способен заставить человека прочитать статью, то вы уже потеряли часть прибыли. Есть бесплатные калькуляторы расчёта выборки, можно ими воспользоваться, например, Майндбокс. Если вы хотите провести A/B тест, то для этого нужно выполнить следующие шаги.
Выбирайте Сами, Что Тестировать
Это создает контакт между существующими клиентами, уже оценившими качество оказываемых услуг, и потенциальными клиентами, еще раздумывающими по поводу приобретения товара. Повышается уровень доверия, а вместе с тем и шанс на конверсию. Невозможно затронуть каждый сегмент своей целевой аудитории, используя исключительно SEO-тексты. Это может быть подкаст, видеоролик, какая-то наглядная инфографика и т.п.
- Справа калькулятор показывает размер выборки, необходимый для получения достоверных результатов.
- Или у нас нет данных по метрикам, потому что не были установлены счетчики на сайте (да, такое тоже бывает), и мы не можем определить точку отсчёта в А/В-тесте.
- Здесь маркетолог определяет, что именно можно изменить и как это может сказаться на эффективности.
- Допустим, мы недавно запустили лендинг, и пока нет данных по нужным метрикам.
- Сыграть важную роль в повышении конверсии за счет описания может не только контент, но и его оформление.
На эффективность конверсионных элементов влияет все – от их расположения до цветового оформления. В общем, A/B-тестирование – это эффективный способ проверить полезность вносимых на сайте или в приложении изменений до их окончательного внедрения в финальный продукт. В нашем примере в результатах А/В-тестов не выявлено косвенных факторов. По итогу А/В-тестирования изменения были внедрены — весь трафик направили на квиз.
CTR (click-through rate) — показатель кликабельности. Он отражает, как часто пользователи переходят по ссылкам. Например, при CTR 3% три человека из ста перешли по ссылке.
Этот сервис «дружит» c GA и может получать данные прямо из аккаунта аналитики. Его особенность — на сайте уже есть варианты проведения А/В тестирования, которые можно использовать в своей практике. Поддерживает проведение нескольких исследований одновременно. Самый популярный инструмент для проведения А/Б тестов.
Оценить результаты теста можно в том же калькуляторе. Нужно ввести полученные данные и размер выборки, а программа сама сделает вывод. А именно — количество пользователей-участников тестирования.
Я бы не возлагала серьезные надежды на этот способ, но попробовать стоит. Прокси-метрика подбирается https://deveducation.com/ по историческим данным. Меняться в ту же сторону при внешнем воздействии, что и целевая.
Не Проводите A/b-тестирование Незначительных Изменений
Это поможет понять, в каком случае результаты лучше. Когда вы определились с переменной и целью тестирования, время создавать предмет теста. Например, если вы тестируете новый дизайн страницы, это будет — новая страница дизайна и страница с прежним дизайном. методы эффективного тестирования А/В-тестирование предусматривает проверку двух гипотез по изменению контента страницы, юзабилити, текста или цвета кнопки. После этого на сайте Google Optimize появится кнопка ОК, запускающая эксперимент. Уже через несколько суток там появится статистика.
Поэтому иногда полезно задавать вопросы реальным пользователям. Чтобы выполнить тест A/Б-тест на сайте, скорее всего, понадобится специальный инструмент, например Google Optimize. Выберите любой бесплатный шаблон, адаптируйте его под себя и создайте вторую версию для A/B теста. Всего 5 шагов для получения объективной информации.
Проанализировать Результаты
Дополнительно отслеживайте другие метрики — время пользователей на сайте, например. Это поможет в дальнейшем собрать более полную картину исследования. Из примера выше мы видим, что гипотеза подтвердилась — OR вырос на 1,6%.
Но убирать нужно минимально, я рекомендую до 1% данных. Например, только технические ошибки или сегмент, с которым мы не работаем на тесте. Рассчитать размер выборки можно через онлайн-калькуляторы, например, Sample Size Calculator (Evan’s Awesome A/B Tools) — для конверсии. В параметрических тестах необходимо оценивать среднее и стандартное отклонение.
Тест покажет, какой вариант письма лучше заходит аудитории. Можно долго рассуждать на тему, а стоит ли «подтюнивать» получившийся p-value. Например, alpha вы установили на уровне zero,05, а p-value оказался 0,051. В разных компаниях к этой ситуации могут относиться по-разному. Моя рекомендация — строго определять, с какой стороны относительно alpha находится значение p-value.
Варианты пользователям нужно показывать случайным образом. Иначе может получиться так, что отдельный сегмент аудитории будет видеть только один вариант — и результат будет недостоверным. Лучше использовать специальные сервисы — они распределяют трафик автоматически. Если сервис посчитал результат статистически недостоверным, сплит-тестирование повторяют с теми же вводными, но с большим размером выборки.
Также не стоит одновременно тестировать несколько переменных. Тестирование вариаций нескольких разных элементов — это уже не A/B-тестирование, а многовариантное тестирование, значительно более продвинутая программа исследований. Например, если мы предполагаем, что метрика увеличится значительно, например, с 50% до 80%, потребуется небольшой размер выборки.
Эксперимент остановится сам, когда придёт время или когда накопится достаточно данных. Чтобы оценить результаты, нужно нажать на кнопку «Посмотреть отчет» в списке экспериментов. Дальше нужно указать цель, достижение которой вы будете отслеживать, — например, конверсию в отправку формы. Если цели не настроены, сделать это можно в «Яндекс Метрике». Для аналитиков A/B-тестирование — один из множества инструментов оценки эффективности сайтов, приложений, рекламы.
A/B-тестирование помогает принимать решения в компаниях, которые ориентированы на конкретные данные. Как правило, результаты тестов играют важную роль, когда принимают решение изменить дизайн нового продукта или параметры бизнес-стратегии. Не стоит с разбегу прыгать в глубокий бассейн А/В-тестирования, пока в нём воды на маленький тазик, то есть если нет значимого трафика пользователей. Чтобы выявить предпочтения среднего пользователя, нужен статистически значимый размер выборки. Если отсутствует ресурс получить адекватные данные, A/B-тесты не покажут результат.
Например, по результатам А/В-теста конверсия выросла, но снизился средний чек. Если с прокси-метриками всё ок, то внедряем изменения. Какие целевые действия нужно учитывать — зависит от целей теста. Если гипотезы эксперимента подтвердятся, А/В-тесты помогут оптимизировать конверсию. Проанализируйте результаты теста и сравните эффективность правок версии B с версией А.
Он полностью бесплатный и может использоваться как на лендингах, так и на отдельной странице обычного сайта. Программа помогает рассчитать, сколько пользователей нужно для участия в эксперименте. Для этого нужно знать базовую конверсию и минимальный видимый эффект — относительную разницу в конверсии в сравнении с базовой. Выберите программу, с помощью которой будете проводить тестирование.
На основе этого сделайте выводы о том, какая версия работает лучше и улучшите её. Если больше людей сделали покупки на первой версии сайта, то эта версия более успешная. Если же на второй версии продажи были лучше, то можно использовать её как основную версию сайта. Например, если вы тестируете CTA на странице и основной показатель — количество лидов, то не стоит уделять много внимания времени на сайте или глубине просмотра. Для запуска A/Б-теста необходимо создать две версии одного элемента, например посадочной страницы или объявления, с изменением одной переменной. Затем нужно показать эти версии двум одинаковым по размеру аудиториям и после набора данных проанализировать, какая версия сработала лучше.
Гипотеза в A/B-тестировании — предположение о том, какой вариант объекта принесёт лучший результат. Чтобы сформулировать её, сначала нужно проанализировать текущую ситуацию, найти то, что можно изменить, и понять, как это может сказаться на эффективности. Главная цель A/B-тестирования — понять, какой вариант продукта или объекта позволит бизнесу зарабатывать больше. В разных отраслях метод используют для улучшения разных объектов.