Прикладной ML

Рекомендательные системы, прогнозирование временных рядов, A/B-тесты, многорукие бандиты и ассоциативные правила выглядят как пять несвязанных тем, но на собеседовании их бьют одним вопросом: откуда вы знаете, что ваше число настоящее? В каждой из них модель сравнительно проста, а опасность живёт в оценке — потому что естественный, очевидный способ измерить качество тихо подсматривает именно то, что вы пытаетесь оценить.

Рекомендатель, оценённый на собственном логе показов, лишь награждает повтор вчерашнего ранжирования. Прогноз, проверенный случайным k-fold, обучился на будущем. A/B-тест, в который заглядывают каждое утро, пересекает порог значимости по случайности задолго до того, как эффект станет реальным. Каждый слой ниже сначала объясняет модель мышления, а затем называет ловушку, которая превращает уверенную офлайн-победу в плоский — или отрицательный — результат в проде.

• Рекомендательные системы — коллаборативная и контентная фильтрация, матричная факторизация, двухстадийная схема «генерация кандидатов + ранжирование», неявная обратная связь, cold start и почему офлайн-метрики ранжирования расходятся с онлайн-тестами.
• Временные ряды — стационарность и дифференцирование, почему случайный k-fold подсматривает будущее, rolling-origin бэктест, сезонность, классические модели против GBDT, многошаговые стратегии и метрики, которые выживают у нуля.
• A/B-тестирование — гипотезы и мощность, размер выборки и MDE, p-value против доверительных интервалов, почему подглядывание раздувает ложные срабатывания, снижение дисперсии CUPED и проверки валидности вроде SRM.
• Многорукие бандиты — исследование против эксплуатации, regret, ε-greedy, UCB и Thompson sampling, и чем бандит платит за меньший regret по сравнению с A/B-тестом: смещённой и менее точной оценкой эффекта.
• Ассоциативные правила — транзакции и наборы, support, confidence и lift, отсечение кандидатов по свойству Apriori, выбор минимального support и почему правило показывает совместную встречаемость, а не причину.