Какой метод представляет собой сплит эксперимент и для чего этот метод необходимо
A/B эксперимент составляет формат подход сравнения нескольких или нескольких решений страницы, экрана, сообщения, элемента действия, анкеты, email-сообщения, маркетингового сообщения либо другого веб блока. Главная функция заключается в необходимости задаче, для того чтобы выяснить, какой вариант результативнее работает в реальном использовании. Взамен предположений и личных суждений используется проверка на живой посетителей, при которой контрольная доля видит формат A, а тестовая — вариант B.
Такой метод дает возможность формировать решения с опорой на результатах информации, но не на личных вкусов а также случайных наблюдений. В обзорных источниках, среди них 1win, регулярно указывается, будто A/B тестирование особенно полезно в тех случаях, при которых точечные корректировки способны воздействовать на действия посетителей: переходы, создания аккаунтов, передачу форм, объем сессии, удержание, заказы, подписки либо другие нужные результаты. Подход дает возможность понять, на самом деле ли изменение повышает 1win показатель.
Как работает А/Б эксперимент
Механизм сплит проверки относительно понятен. Вначале определяется объект, что требуется оценить. Таким элементом имеет шанс быть заголовок, оттенок CTA-элемента, последовательность секций, сообщение подсказки, структура анкеты, изображение, стоимость, тип предложения либо расположение ключевого шага. После этого создаются как минимум пары варианта: первоначальный плюс тестовый. Вслед за подготовкой посещения делится между ними согласно до запуска определенным параметрам.
Контрольная часть аудитории продолжает получать старую версию, тогда как тестовая видит новую. Платформа собирает данные о поведении любой группы и сравнивает метрики. Когда вариант B дает лучший результат при нужном количестве сведений, его можно внедрять. Когда прироста не видно либо тестовая вариация работает слабее, изменение отклоняется. Как раз в таком подходе а также состоит реальная польза эксперимента: он дает возможность оценивать гипотезы перед массового 1вин запуска.
Почему необходимо сплит проверка
А/Б проверка необходимо для уменьшения неопределенности. Внутри веб сервисах даже небольшая особенность имеет шанс воздействовать на понимание интерфейса. Один заголовок способен быть понятнее иного, короткая форма имеет шанс отправляться регулярнее расширенной, а намного более заметная CTA имеет шанс повысить количество переходов. Если не использовать тестирования такие решения обычно выглядят гипотезами.
Подход позволяет развивать продукт шаг за шагом. Взамен масштабной переработки целого ресурса или сервиса допустимо проверять отдельные объекты а также фиксировать реальный эффект. Такой подход сокращает угрозу слабых решений, сокращает расход ресурсы и дает возможность собирать знания про действиях аудитории. Через временем специалисты 1 win собирает не совокупность суждений, вместо этого модель подтвержденных решений.
Какие именно блоки можно сравнивать
Проверять допустимо почти что разный элемент, что сказывается по части поведение пользователя. Как правило в большинстве случаев проверяют headline-блоки, вторичные заголовки, CTA к переходу, тексты кнопок, формы оформления аккаунта, место элементов, визуалы, блоки позиций, очередность действий, сортировки, меню, визуальные блоки, уведомления, письма а также промо объявления. Существенно, чтобы указанный блок оставался соотнесен с конкретной конкретной целью.
Если цель состоит в повышении переданных заявок, разумно сравнивать форму, формулировку около формы, число полей и заметность элемента действия. Когда необходимо повысить длину просмотра, имеет смысл оценивать навигацию, модули предложений, внутрисайтовые линки и построение страницы. Насколько яснее зависимость 1win среди изменением а также метрикой, тем самым полезнее результат тестирования.
Гипотеза в роли фундамент эксперимента
Всякий качественный A/B тест стартует на основе предположения. Предположение формулирует, какого типа решение рассматривается, по какой причине оно может повлиять на результат плюс какого типа результат должен поменяться. К примеру, можно сформулировать, если уменьшение формы оформления аккаунта сократит число незавершенных действий, так как что именно человеку нужно будет меньше усилий с целью выполнения действия.
Корректная проверяемая идея не следует оставаться очень общей. Идея типа «улучшить страницу удобнее» не позволяет дает возможность измерить результат. Более ценный пример: «при условии что поменять объемный текст CTA на короткий и точный, количество кликов вырастет, потому что именно действие окажется очевиднее». Подобная идея сразу 1вин задает предмет проверки, причину и метрику.
Контрольная плюс экспериментальная группы
Внутри A/B эксперименте базовая группа просматривает первоначальный версию, тогда как экспериментальная — обновленный. Такое разделение важно ради корректного сравнения. Когда просто поменять раздел и оценить результаты перед плюс после, итог может исказиться вследствие сезонности, маркетинговой нагрузки, изменения каналов пользователей, информационного фона, системных сбоев или иных внешних факторов.
Одновременный запуск нескольких версий уменьшает влияние непредвиденных условий. Обе группы остаются в близкой ситуации: один плюс же одинаковый период, одинаковые же каналы пользователей, схожие девайсы плюс общий окружение. Следовательно отличие в показателях с высокой 1 win большей степенью вероятности соотносится как раз с конкретным корректировкой, и не не столько с сторонними факторами.
Какого типа показатели задействуются при A/B экспериментах
Показатель — представляет собой число, по которого измеряется эффект проверки. Подбор критерия зависит от назначения проверки. Ради страницы с размещенной формой важны передачи форм, в случае онлайн-магазина — сохранения внутрь покупку и покупки, в случае медиаресурса — объем чтения и длительность чтения, для сервиса — регистрации, первые действия, удержание а также следующие 1win активности.
Необходимо отделять ключевую плюс дополнительные критерии. Главная демонстрирует, зачем какого результата запускается эксперимент. Вспомогательные помогают выявить вторичные результаты. Например, изменение элемента действия способно увеличить нажатия, но ухудшить ценность последующих действий. Из-за этого важно оценивать не исключительно лишь по начальный клик, однако также на последующее развитие: окончание заявки, повторные визиты, уходы, сбои а также итоговую эффективность действия.
Статистическая достоверность
Математическая существенность демонстрирует, насколько реалистично, что полученная расхождение среди версиями не считается случайной. В случае если один формат незначительно опережает альтернативный по итогам ряда десятков единиц визитов, подобный итог пока не подтверждает показывает преимущество. При ограниченном количестве данных показатель может резко сдвинуться, когда 1вин аудитория окажется шире.
Ради корректного вывода нужно достаточное количество событий. Чем меньше планируемая разница среди решениями, настолько значительнее данных необходимо собрать. В случае если правка должно улучшить показатель лишь около пару процентов, тесту потребуется больше времени плюс пользователей. Математическая существенность дает возможность избегать выносить поспешные действия с опорой на базе нестабильных скачков.
Размер выборки и срок эксперимента
Масштаб выборки влияет по части качество результата. В случае если проверка охватывает чрезмерно мало посетителей, выводы могут стать ненадежными. В частности, пять новых нажатий внутри первой аудитории имеют шанс выглядеть как увеличение, однако при значительном объеме станут простой случайностью. Поэтому до начала полезно понимать, какой объем посетителей 1 win или событий потребуется с целью оценки предположения.
Срок теста тоже сохраняет важность. Чрезмерно сжатый тест имеет шанс не показывать различия между будними а также праздничными днями, дневной плюс послерабочей активностью, разными источниками трафика. Обычно проверка обязан захватывать полный цикл активности пользователей. Вместе с этом чрезмерно затянутый период проверки равно нежелателен, если внешние условия начинают ощутимо поменяться.
По какой причине не стоит изменять проверку во процесс работы
Распространенная среди частых ошибок — добавлять корректировки по ходу эксперимент вслед за запуска. Когда по ходу центре эксперимента поменять формулировку, группу, дизайн, параметры вывода либо цель, данные смешаются. В таком случае окажется непросто определить, что именно сказалось на итог. Проверка потеряет корректность, и заключения станут сомнительными 1win.
До начала нужно установить проверяемую идею, форматы, критерии, деление аудитории а также параметры завершения. После старта желательно не стоит вмешиваться без важной причины. В случае если выявлена неточность на уровне настройке или служебный дефект, правильнее закрыть эксперимент, починить сбой и создать новый проверку, вместо того чтобы стараться анализировать некорректные показатели.
Синхронное тестирование многих корректировок
В отдельных случаях возникает желание протестировать одновременно группу решений: обновленный headline, альтернативную CTA, упрощенную анкету плюс измененный последовательность элементов. Этот подход имеет шанс дать итоговый эффект, однако не сможет раскроет, какой именно элемент сказался в отношении результат. В случае если обновленная страница победила, будет непонятно, какой элемент сработало лучше остального.
С целью корректной проверки как правило изменяют отдельный существенный элемент за 1вин один этап. Если необходимо сопоставить разные сочетаний, применяется многовариантное сравнение. Этот формат многоуровневее, нуждается большего трафика плюс корректной интерпретации. Ради многих сценариев сплит эксперимент с одной понятной проверкой обеспечивает более корректный и ценный итог.
Примеры сплит тестирования внутри дизайне
Внутри интерфейсах A/B эксперимент нередко используется ради улучшения понятности шагов. Например, получается сопоставить несколько форматы анкеты: объемную с большим количеством строк и упрощенную с небольшим минимальным набором данных. В случае если короткая форма увеличивает объем оконченных регистраций без одновременного потери качества обращений, этот вариант допустимо признавать более результативной.
Другой пример — проверка формулировки элемента действия. Сдержанная фраза способна быть не такой очевидной, относительно конкретное название шага. Кроме того сравнивают расположение CTA-элементов, очередность контентных блоков, дизайн 1 win подсказок, наличие индикатора прогресса, способ показа предупреждений а также объем шагов на протяжении сценарии. Любой такой объект сказывается в отношении то, в какой степени легко завершить целевое действие.
А/Б эксперимент на уровне материалах
Внутри контенте тестирование дает возможность определить, какие именно заголовки, описания, структуры а также форматы эффективнее удерживают интерес. Получается сравнивать разные интро, размер контента, последовательность доводов, присутствие перечней, подачу блоков, подачу преимуществ или манеру подачи трудной задачи. Однако при таком подходе необходимо оценивать не лишь клики, а также еще следующее поведение.
Headline может увеличить количество нажатий, при этом если материал не сможет соответствует ожиданиям, увеличится доля отказов. Из-за этого редакционные проверки нужны чтобы принимать во внимание ценность взаимодействия: время чтения, глубину страницы, переходы внутри сайта, повторные визиты а также совершение нужных действий. Качественный итог — является не только исключительно привлечение внимания, а согласование запроса и содержания.
A/B тестирование в почтовых рассылках
На уровне почтовых рассылках обычно тестируют subject-строки рассылок, имя адресанта, первые строки, период отправки, размер сообщения, расположение кнопок а также описания предложений. Одна часть аудитории открывает первую версию email, второй сегмент — тестовую. Вслед за этим сопоставляются open rate, клики, отписки, негативные сигналы плюс следующие реакции в пределах сайте.
Необходимо не нужно ограничиваться значением открытий. Subject-строка рассылки может стать выразительной а также захватывать реакцию, однако когда тема не будет соответствует наполнению, клики плюс уверенность способны уменьшиться. Поэтому качественный почтовый эксперимент оценивает полную воронку: открытие, клик, поведение вслед за перехода и реакцию аудитории на сообщение.