ОПИСАНИЕ ИНТЕНСИВА

А/В ТЕСТИРОВАНИЕ

О чем пойдет речь?
В интенсиве раскрывается методология подготовки и проведения A/B тестов. Начиная с основ самой концепции A/B тестирования, понимания зачем и когда оно может пригодиться, мы изучим теоретические моменты, которые помогут нам в дальнейшем в понимании прикладных аспектов A/B тестирования. Теория не будет оторвана от практики - все ключевые идеи будут реализованы на Python.
Далее мы перейдем непосредственно к самим тестам и к основным вопросам: какие роли играют ошибки 1го и 2го рода, какая между ними взаимосвязь и что в какой ситуации важнее, как рассчитать размер выборок для эксперимента и какое место занимает стратификация.
После этого поговорим о темах, которые мы назвали “Вопросы вокруг A/B” - то, о чем стратегически важно задуматься при подготовке эксперимента. И завершим наш интенсив разбором практических кейсов, а так же кратким повторением ключевых аспектов всего курса, привязанных к конкретным этапам эксперимента.

На кого рассчитан курс?
Курс будет интересен и полезен всем, кто занимается развитием продукта. Аналитикам, тим-лидам, менеджерам, продуктоунерам:
Аналитикам и тим-лидам курс поможет уточнить и актуализировать методику проведения А/Б тестов.
Менеджерам и продуктоунерам курс позволит лучше понять механику и методику А/B тестов, что необходимо для верного планирования экспериментов и оптимального формулирования тестируемых гипотез.

Каков входной порог?
Понимание основ статистики, базовые знания Python

ОПИСАНИЕ ПРОГРАММЫ КУРСА ПО ДНЯМ

День 1
Введение в A/B тестирование и теоретические основы статистики
1. Примеры, где нужны A/B тесты из разных областей.
2. Понятие частоты и плотности распределения.
3. Разница между понятиями вероятность и правдоподобие.
4. Понятие статистической значимости и ее привязка к метрике.
5. Понятие статистических тестов:
Непараметрические и параметрические тесты.
6. Методы нормализации распределений.
7. Bootstrap.
8. Расчет значения p-value через Bootstrap-тест.
День 2
Расчет необходимых размеров групп для эксперимента
1. Понятие z-score.
2. Понятие стандартной ошибки.
3. Понятие доверительного интервала и margin
of error.
4. Связь доверительного интервала и размера выборки.
5. Минимальный детектируемый эффект.
6. Ошибки 1-го и 2-го рода:
Направленности гипотез
7. Стандартное отклонение метрики.
8. Имитация данных для эксперимента.
9. Расчет размера групп для теста с помощью формул.
10. Сравнение подходов расчетов размеров групп
по формулам и через имитацию.
День 3
Методы работы с ошибками
1 и 2 рода
1. Связь ошибок 1 и 2 рода и как выбирать их уровень.
2. Методы снижения ошибок 1 и 2 рода: работа с выбросами, функциональное преобразование, стратификация, CUPAC/CUPED.
3. Проверка качества стратификации.
4. Разбор типов метрик по отношению к эксперименту.
День 4
Вопросы вокруг A/B тестов
  1. Типы метрик по метрической сущности.
  2. Ratio-метрики.
  3. Линеаризация.
  4. Проблема подглядывания.
  5. Бакетирование метрики - ускорение расчетов.
  6. Множественное тестирование гипотез.
  7. Параллельное тестирование.
День 5
Разбор кейсов и обсуждение комплексного сценария
A/B теста
  1. Разбор практических кейсов (из нашей практики и практики слушателей).
  2. Роадмэп эксперимента: его этапы с акцентами на ключевых моментах.
A²NCED
Запишитесь на курсы A2NCED
Email
Имя и фамилия
Телефон
Какой курс вам интересен?
Я представляю
Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь
c политикой конфиденциальности

Узнавайте об обновлениях
и новых курсах первыми!

Подписывайтесь на наше коммьюнити NoML (Not only Machine Learning), где мы публикуем все новости, общаемся и делимся мнениями об индустрии