Урок 1. Введение в A/B тестирование: основы и бизнес-ценность
• Что такое A/B тестирование и зачем оно нужно
• Эволюция A/B тестирования: от первых экспериментов до современных платформ
• Культура принятия решений на основе данных: успешные кейсы компаний
• Альтернативные методы принятия решений и их ограничения
• Основные сферы применения A/B тестов
Урок 2. Подготовка и планирование A/B теста
• Полный цикл A/B теста: от гипотезы до внедрения
• Формулирование гипотез (HADI, ICE, PIE)
• Определение целевой аудитории и выборки
• Планирование теста: длительность, размер выборки, критерии успеха
• Этические аспекты A/B тестирования
Урок 3. Метрики в A/B тестировании
• Типы метрик: пользовательские, бизнес-метрики, процессные
• Выбор целевой метрики и требования к ней
• Иерархия метрик
• Вспомогательные и контрольные метрики
• Эффект новизны и его влияние на результаты
• Смещения и искажения в метриках
Урок 4. Основы статистики для A/B тестирования
• Генеральная совокупность и выборка
• Среднее, медиана, процентили
• Стандартное отклонение и дисперсия
• Нормальное распределение и центральная предельная теорема
• Доверительные интервалы
• Визуализация распределений
Урок 5. Статистические гипотезы и проверка результатов
• Нулевая и альтернативная гипотезы
• Ошибки первого и второго рода и их бизнес последствия
• Уровень значимости и статистическая мощность
• Основные статистические тесты для A/B тестирования
• p value: корректная интерпретация и заблуждения
• Визуализация результатов тестирования
Урок 6. Размер выборки и длительность теста
• Минимальный детектируемый эффект (MDE)
• Расчет необходимого размера выборки
• Связь между альфой, мощностью, MDE и размером выборки
• Оптимальная длительность теста
• Сезонность и временные эффекты
• Компромисс между скоростью и точностью
Урок 7. Методы понижения дисперсии
• Проблема высокой дисперсии в данных
• Стратификация: принципы и применение
• CUPED: принципы работы и применимость
• Требования к ковариатам для CUPED
• Альтернативные методы снижения дисперсии
Урок 8. Работа со сложными метриками и метриками отношениями
• Метрики отношения: конверсия, ARPU, LTV/CAC, ROI
• Различия между простыми метриками и метриками отношениями
• Дельта метод для анализа отношений
• Линеаризация и бутстрэп
• Корреляции между метриками
• Краткосрочные и долгосрочные метрики
Урок 9. Множественное и последовательное тестирование
• Проблема множественных сравнений
• Методы коррекции: Бонферрони, Холма, Бенджамини Хохберга
• Параллельные A/B тесты и взаимодействие экспериментов
• Последовательное тестирование и проблема подглядывания
• SPRT и mSPRT
• Адаптивное распределение трафика
Урок 10. Интерпретация результатов и принятие решений
• Фреймворк интерпретации результатов
• Байесовский подход
• Влияние бизнес контекста
• Регламент принятия решений
• Типичные ошибки интерпретации
• Качественная оценка и количественные результаты
Урок 11. Построение культуры экспериментирования
• Создание системы A/B тестирования в компании
• Интеграция экспериментов в продуктовую разработку
• Масштабирование практики тестирования
• Обучение команды и развитие data культуры
• Преодоление организационных и технических барьеров
Урок 12. Платформы и инструменты для A/B тестирования
• Обзор платформ для A/B тестирования
• Компоненты системы экспериментирования
• Требования к системе в зависимости от масштаба
• Современная архитектура экспериментальных платформ
• Мониторинг качества экспериментов
• Интеграция с аналитической инфраструктурой
Урок 13. Продвинутые типы экспериментов
• Многорукие бандиты
• Квази и естественные эксперименты
• Switchback тесты
• Инкрементальные тесты и Ghost Ads
• Персонализированные эксперименты
Урок 14. Основы причинно следственного вывода
• Корреляция и причинность
• Модель потенциальных исходов Рубина
• Причинно следственные диаграммы
• Проблема спутывающих переменных
• Условия идентификации причинных эффектов
• Связь A/B тестирования и causal inference
• Ограничения традиционных A/B тестов
Урок 15. Продвинутые методы причинно следственного анализа
• Квази экспериментальные методы
• Difference in Differences DiD
• Instrumental Variables
• Regression Discontinuity Design RDD
• Synthetic Control Method
• Matching и Propensity Score Matching
• Интеграция causal методов в систему A/B тестирования
Урок 16. Заключительный практикум: от гипотезы до внедрения
• Полный цикл A/B тестирования на практике
• Типичные ошибки на каждом этапе
• Стратегии ускорения экспериментов
• Оценка влияния программы тестирования на бизнес
• Будущее методологии экспериментирования