Что есть А/В-тестирование?
Введение
Прошло то время, когда мы тратили весь маркетинговый бюджет на все подряд. Сегодня маркетинговые команды могут принимать обоснованные решения, а также используют научный подход для оптимизации посетительского опыта. Они опираются в своих решениях на надежные данные, а не на субъективную интуицию, благодаря в частности A/B-тестированию.
Пришло время внедрить культуру и тягу к экспериментам и проверить на практике все Ваши идеи!
Выстраивая свою стратегию, основываясь на данных, Вы не только станете более гибкими, но и узнаете: что же все-таки работает, а что нет. Вы будете инвестировать Ваше время и деньги в то, что действительно нравится посетителям, и таким образом сможете принимать наилучшие решения для своего бизнеса.
A/B-тестирование: секретное оружие лучших маркетологов
75% сайтов с ежемесячным трафиком более 1 млн посетителей проводят А/В-тестирование. Возможно и Вам стоит отбросить сомнения при принятии маркетинговых решений.
Однако верным является то, что A/B-тестирование требует внедрения строгого процесса, а также периода для его освоения. Вам нужно будет определить зоны оптимизации Вашего сайта, расставить приоритеты в плане действий, а также освоить (немного) статистику , чтобы не допустить ошибок.
Но не пугайтесь: мы объединили все самые лучшие источники от экспертов в этой области, которые могут Вам понадобиться для того, чтобы освоить эту тему.
Что есть A/B-тестирование?
Определение : А/B-тестирование - это эксперимент, который проводится на интернет-сайте, мобильном приложении с целью подтвердить гипотезы по оптимизации потенциальных улучшений в сравнении с исходной версией (оригиналом). Оно позволяет Вам увидеть, что работает для Вашей аудитории, основываясь на статистическом анализе эффективности.
А/B-тестирование может также называться сплит-тестом, или Split URL testing. В классическом A/B-тесте оба варианта Ваших страниц находятся по одной ссылке. В случае Split URL testing, вариант В находится по другой URL-ссылке (Ваши посетители, соответственно, не видят разницы).
Что такое мультивариантное тестирование (MVT) ?
В некоторых случаях возможно тестировать одновременно несколько изменений на одной веб-странице: баннер, заголовок, описание или еще видео. MVT-тест позволяет вам тестировать все эти оптимизации за раз.
Ваш инструмент А/В-тестирования создаст столько вариантов, сколько имеется комбинаций, чтобы определить, какое из них имеет наибольшее влияние на Ваши показатели конверсии.
Проблема мульвариантного теста заключается в том, что он требует огромного объёма интернет-трафика для того, чтобы иметь возможность протестировать все варианты и получить статистическую значимость, которая Вам позволит принять обоснованное решение. Если Вы желаете узнать больше о том, в чем заключается разница между мультивариантным тестом и А/В-тестированием, то мы Вам советуем прочитать материалы по ссылке Статья из HubSpot разница между MVT (мультивариантный) и A/B-тесты.
Test Bandit или тест динамичного распределения трафика (multi-armed bandit testing)
Multi-armed bandit тестирование - это когда Ваш алгоритм автоматически и постепенно перенаправляет Вашу аудиторию на выигрышную вариацию..
Если Вы хотите узнать больше о "multi-armed bandit"- testing, вот ссылка на статью, написанную Alex Birkett из ConversionXL.
A/B/n-тестирование
А/В/n-тестирование позволяет тестировать n-ое число гипотез по оптимизации Вашей страницы. Например, Вы сможете протестировать шесть вариантов Вашей страницы, проведя A/B/C/D/E/F-тест.
Несколько статей, чтобы помочь Вам дебютировать в A/B-тестировании:
В чем польза A/B-тестирования?
Зачем Вам начинать А/B-тестировать? Или еще лучше спросить себя : довольны ли Вы тем, как Вы используете трафик, заработанный потом и кровью? Оптимизировать Ваши конверсии - это дешевле, чем наработать трафик, с более высоким потенциальным показателем ROI. И с A/B-тестированием эффект будет еще более наглядным. Но A/B-тестирование позволит Вам гораздо больше:
- Узнать больше о ваших посетителях : влияние различных составляющих (элементов) вашей страницы на их поведение, потребности, привычки
- Исключить фактор риска и субъективность в принятии ваших решений, применяя практику теста и подтверждая все гипотезы оптимизации
- Сконцентрировать ваши силы (и деньги) на том, что работает лучше для вашей аудитории благодаря тому, чему вы научились с помощью А/В-тестирования
Вот несколько примеров вопросов, на которые вы сможете дать верные ответы благодаря А/В-тестированию.
- Какие элементы Ваших страниц влияют на продажи, конверсию или поведение ваших посетителей?
- Какое оптимальное количество полей необходимо для заполнения ваших форм?
- Следует ли вам внедрить эту новую функцию?
- Какие заголовки являются более эффективными для посетителей?
- Какие этапы Вашей конверсионной воронки характеризуются низкой эффективностью?
Несколько примеров историй успеха лидеров сферы digital :
Как работает A/B-тестирование?
А/B-тестирование позволяет Вам сравнить существующую версию страницы с новыми (новым) вариантами для оптимизации, которые Вы хотели бы протестировать (CTA, название, элемент ...).
Ваши посетители делятся на равные части и повергаются различным вариантам тестирования с целью определить вариант, который лучше всего подходит для поставленной вами цели (вход, клик, добавление в корзину, …), то есть чей процент конверсии является лучшим. Затем данные подвергаются анализу и сравнению для того, чтобы определить возможны или нет изменения, которые вы хотите реализовать.
Вы желаете знать больше о том, как работает А/В тест?
Оптимизация конверсии обязательная для практики A/B-тестирования
Обычно это покупка, или «конверсия», и сбор контактной информации, которая позволяет посетителям продвигаться в их цикле жизни клиента.
Большой трафик - это большой плюс, но нужно еще суметь на нем заработать. Поэтому оптимизация конверсии так важна.
Несколько лучших материалов на тему оптимизации конверсии:
- The Beginner’s Guide to Conversion Rate Optimization (Qualaroo)
- The Definitive Guide to Conversion Rate Optimization (Quicksprout)
- Conversion Rate Optimization Techniques (100+ Techniques and Free PDF) (Note: Lots of ideas to test in there)
- The Beginner’s Guide to Conversion Rate Optimization (ConversionXL)
- The A-Z Guide to Conversion Rate Optimization
- The Definitive How-To Guide For Conversion Rate Optimization
- What you have to know about conversion optimization
- The Conversion Optimization Rulebook
- Widerfunnel’s case studies
Измеряйте и анализируйте данные Вашего сайта для определения областей оптимизации и возможностей роста.
Сформулируйте одну из гипотез оптимизации (эта тема была подробно раскрыта Craig Sullivan).
Расставьте приоритеты Ваших идей А/В-тестирования: одна из наиболее часто используемых методик фреймворк приоритизации - PIE, созданная Widerfunnel.
Благодаря этой системе Вы сможете классифицировать Ваши идеи тестирования в соответствии с тремя критериями оценки по шкале от 1 до 10, чтобы определить с какой (или каких) из них следует начать.
- Потенциал ./10: На сколько Вы оцениваете маржу улучшений на этой (этих) странице (ах)?
- Влияние ./10: Какова величина трафика (объем, качество) на этой (этих) странице (страницах)
- Простота/легкость в реализации ./10: Насколько легко реализовать тест ( 10= очень легко, 1= очень сложно)
Среднее значение трех оценок укажет Вам, какой тест начать (разумеется, существуют и другие системы приоритетов, и от Вас зависит выбор того, что Вы предпочитаете).
Проведите А/В-тестирование наиболее важных гипотез
Анализируйте и изучайте результаты Ваших А/В-тестов
Поделитесь Вашими результатами внутри компании
Как рассказывает Тома Соззед, генеральный директор routard.com, это один из ключевых факторов успеха Ваших усилий по оптимизации! Нужно способствовать обмену мнениями и обсуждениям, которые приведут к новым идеям тестирования. Не забывайте всегда вовлекать в процесс команду IT.
Начать заново!
Другие системы и процессы А/В-тестирования:
- PXL: A Better Way to Prioritize Your A/B Tests
- The A/B Testing Framework So Good It Got A Codename
- Widerfunnel's infinity optimization process
- How to Build a Strong A/B Testing Plan That Gets Results
- Iterative A/B Testing – A Must If You Lack a Crystal Ball
- Start A/B Testing Today with 5 Simple Steps
Что тестировать? Идеи для A/B-тестов
На вашем сайте Вы можете тестировать абсолютно все с помощью А/В-тестирования:
Но время от времени нужно стимулировать творчество и находить новые источники вдохновения. Чтобы Вам помочь, вот несколько идей для А/В-тестирования.
Предупреждение: то, что работало у других, не обязательно будет работать у Вас ! Не пытайтесь применить все, что написано здесь, если Вы не проанализировали предварительно целесообразность использования для Вашей ситуации и то, как Вы можете это адаптировать под Ваш бизнес.
Находите вдохновение для Ваших следующих А/В-тестов:
Лучшие практики для успешных А/В-тестов
- 36 essential A/B testing best practices to boost your conversions
- 55 A/B Testing Best Practices Every Marketer Should Know
- 8 Rules of A/B Testing – The Art in Marketing Science
- 8 Best Practices for Starting Your A/B Testing
- What are some best practices with A/B testing?
- A/B Testing Best Practices Can Save You Time, Money and Effort – Here's How
- The Endless Suck of Best Practice and Optimisation Experts
Заметка: Наша еженедельная рассылка Conversion Matters является источником вдохновения для всех маркетологов, которые хотят запустить лучшие кампании по оптимизации пользовательского опыта подписка здесь
Ошибки A/B-тестирования (внимание, ложные результаты грозят пустой тратой средств)
- 12 A/B Split Testing Mistakes I See Businesses Make All The Time
- [INFOGRAPHIC] 19 Ways A/B Testing Is Ruining Your Site (And How To Fix It)
- Should You Run an A/A test?
- Why Your Brain Is Your Worst Enemy When A/B Testing
- Are You Misinterpreting Your A/B Tests Results?
- Warning! Is the world sabotaging your A/B Tests?
- Are You Stopping Your A/B Tests Too Early?
- 7 Mistakes Most Beginners Make When A/B Testing
- How to Minimize A/B Test Validity Threats
- Sample Pollution: The A/B Testing Problem You Don’t Know You Have
- 11 ways to stop FOOC’ing up your A/B tests
Понять статистику A/B-тестирования
А/В-тестирование основывается на различных методах статистического подсчета. Вам не нужно быть ученым, чтобы добиться результатов, но некоторые понятия из математики будут, несомненно, полезны.
В А/В-тестировании существуют 2 метода статистического подсчета, которые отвечают 2 потребностям и различным целям. Вот как мы подходим к этой теме - статистический двигатель Kameleoon.
Детерминированный метод
позволяет простое прочтение надежности результатов, данных с помощью индикатора процента доверия: с показателем 95% и более, у вас есть 95% вероятности принять верное решение. Тем не менее, у метода есть ограничение : «фиксированный горизонт», это значит, что до завершения тестирования на этот показатель нельзя опираться, чтобы оценить надежность результатов.
Байесовский метод
показывает вероятность результатов. Больше не нужно ждать конца теста, чтобы понять тенденцию и интерпретировать данные. Однако этот метод имеет также свои требования : правильно оценить доверительный интервал для оценок во время теста. Уверенность в вероятности того, что один из данных вариантов - выигрышный, увеличивается с каждой дополнительной конверсией.
Другие источники на тему статистики для А/В-тестирования
- Ignorant No More: Crash Course on A/B Testing Statistics
- A/B Testing Tech Note: determining sample size
- Speed vs. Certainty in A/B Testing
- How Not To Run An A/B Test
- Statistical Significance Does Not Equal Validity (or Why You Get Imaginary Lifts)
- What is the difference between Bayesian and frequentist statisticians?
A/B-тестирование: ключевые навыки и управление
Чтобы удача была полностью на Вашей стороне, Вам понадобятся определенные навыки от Вас или Вашей команды: например, веб-аналитика и пользовательский опыт.
Навыки, которые необходимо развивать:
- Five skills you need to make AB testing work
- 10 Things Every Marketer Should Know About A/B Testing
- Free A/B Testing course by Google
- Beginner's Guide To Web Data Analysis: Ten Steps To Love & Success
- The Absolute Beginner's Guide to Google Analytics
- The ultimate guide to user experience
- Beginner’s guide to UX
- 9 strategies for becoming the marketing optimization champion your company can’t live without
Дополнительные инструменты для максимизации Ваши шансы на успех в работе с A/B-тестами
Дополните Ваше решение А/В-тестирования с помощью этих инструментов :
Управление проектами
Эта тема подробно освещается в Conversion Matters. (Предупреждение: это наш блог, но мы гордимся тем, что собрали самое большое сообщество маркетологов). Если вы любите читать на английском языке, то ниже вы найдете список лучших блогов по A/B-тестированию и оптимизации работы пользователя, содержимое которых Вы сможете изучить, найти вдохновение, а также стать настоящим профессионалом в области A/B-тестирования."
Lance Jones > @userhue
Jason Kincaid > @jasonkincaid
Noah Kagan > @noahkagan
Hiten Shah > @hnshah
Dave McClure > @davemcclure
Avinash Kaushik > @avinash
Daniel Gonzalez > @HiDanielG
David Kirkpatrick > @davidkonline
Shanelle Mullin > @shanelle_mullin
Steve Blank > @sgblank
Matt McGee > @mattmcgee
Rand Fishkin > @randfish
Bart Schutz > @BartS
Rick Perreault > @rickperreault
Sean Ellis > @SeanEllis
Campaign Monitor > @CampaignMonitor
Moz > @Moz
Bryan Eisenberg > @TheGrok
Shopify > @Shopify
Scott Brinker > @chiefmartec
Chris Goward > @chrisgoward
Brian Massey > @bmassey
Jeffrey Eisenberg > @JeffreyGroks
Sherice Jacob > @sherice
Carlos del Rio > @inflatemouse
Pam Moore > @PamMktgNut
Angie Schottmuller > @aschottmuller
Ryan Deiss > @ryandeiss
Ian Lurie > @portentint
ashukairy > @ayat
Khalid Saleh > @khalidh
Anne Holland > @AnneHolland55
Lincoln Murphy > @lincolnmurphy
Amy Africa > @amyafrica
Unbounce > @unbounce
Raven Tools > @RavenTools
Roger Dooley > @rogerdooley
Neil Patel > @neilpatel
Nichole Elizabeth > @NikkiElizDemere
Craig Sullivan > @OptimiseOrDie
Peep Laja > @peeplaja
Jon Henshaw > @RavenJon
Marketing Nutz > @MktgNutz
Dan Siroker > @dsiroker
Tommy Walker > @tommyismyname
John Teevan > @JohnP_Teevan
Joanna Wiebe > @copyhackers
Rich Page > @richpage
Tiffany Da Silva > @bellastone
Jason Quey > @jdquey
Ton Wesseling > @tonw
Adam Hutchinson > @adamiswriting
Michael Aagaard > @ContentVerve
Matt Gershoff > @mgershoff
Andy Johns > @ibringtraffic
Brian Balfour > @bbalfour
Oli Gardner > @oligardner
Tim Ash > @tim_ash
Paul Rouke > @paulrouke
Linda Bustos > @edgacentlinda
Theo van der Zee > @theovdzee
Get Elastic > @getelastic
Conversion Conference > @ConversionConf
MAA1 > @MAA1
Talia Wolf > @TaliaGw
Justin Rondeau > @Jtrondeau
Tyson Quick > @TysonQuick
KlientBoost > @KlientBoost
Andre Morys > @morys
Conversion.com > @conversion_com
Anna Talerico > @annatalerico
Kelly Cutler > @kfcutler
Brooks Bell > @brooksbell
Andrew Youderian > @youderian
Alhan Keser > @AlhanKeser
Conversion Sciences > @ConversionSci
Alex Birkett > @iamalexbirkett
Steven Jacobs > @StevenJacobs_
Kaitlyn Nelson > @kaitlynelson
Kevin Hillstrom > @minethatdata
Dan Wang > @danwwang
Malachi Leopold > @livethetreplife
Pete Koomen > @koomen
Aaron Orendorff > @iconiContent
Chief Conversionista > @Conversionista
Joel Harvey > @JoelJHarvey
Вы желаете прибегнуть к услугам агентства для реализации A/B-тестов?
Если у Вас нет внутренних ресурсов, обратиться в агентство - это хорошая альтернатива для запуска стратегии А/В-тестирования. Мы работаем только с лучшими, Вы можете доверять списку, который приведен ниже.
Заметка: Команды Kameleoon могут также вас сопровождать в процессе внедрения и реализации Вашей стратегии оптимизации. Подробности можно узнать здесь: Наши стратегии по оптимизации