АБ-тест
АБ-тест проводили при помощи https://optimize.google.com.
Этот метод мы используем для небольших фичей (VIN как раз подходил).
Мы определились с дизайном — делаем тег про VIN надписью. Идем к разработчикам и спрашиваем, сколько времени займет верстка. Затем верстаем и закидываем на АБ-тест.
DAU у Юлы.Авто 450к для теста нам достаточно 10% пользователей. Выбираем регион — вся Россия, убираем из выборки Москву и Питер, потому что в этих регионах самая большая посещаемость. Если вдруг что-то отвалится, Москва и СПб этого не увидят, так мы меньше рискуем.
Мы смотрели, сколько людей кликают на объявления с лейблом “проверено по VIN” и без лейбла.
Указываем ссылки, которые мы хотим видеть до и после, запускаем тест. Обычно требуется две недели для теста, но у нас большой трафик — поэтому достаточно одной недели. Решение прогнали на 2000 человек, оптимайз сказал, что это решение выиграет. То есть мы понимаем, что людям это зашло, значит выкатываем еще на 50% пользователей.
Покупатели, видя тег, нажимают на карточку объявления и звонят продавцу. Я не могу назвать конкретные цифры, но скажем так: если рост на 10–15%, это очень круто — можно раскатывать решение на остальных.
Смотрим метрики уже не через гугл-оптимайз, а через свою систему аналитики. Строим воронку и смотрим, как люди куда заходили.
Если мы понимаем, что этот вариант действительно рабочий, заливаем его на 100% радуемся. И получаем фидбек.
Иногда за гугл-оптимайзом надо досчитывать. Есть калькуляторы для подсчета статистики по АВ-тестам. Либо менеджер сидит и считает стат.погрешность в экселе.
Загрузка...
