Классический ML и бустинг

До трансформеров — и до сих пор на табличных данных — рабочая лошадка это дерево решений и ансамбль из них. Эта тема строит модель мышления, которую проверяет интервьюер: как одиночное дерево выбирает разбиение и почему переобучается, как градиентный бустинг складывает слабые деревья в самую сильную табличную модель, и как методы без учителя находят структуру, когда меток нет вовсе. Глубокое обучение выигрывает на тексте и картинках; на таблице признаков обычно всё равно побеждает градиентный бустинг деревьев.

Семь слоёв ниже идут от моделей на расстояниях, вероятностях и зазоре — соседей, наивного Байеса, SVM — к одному дереву, библиотеке бустинга и обучению без цели. По пути мы называем ловушки, которые отличают уверенный ответ от заученного: одиночное дерево экстраполирует полкой, бустинг подгоняет негативный градиент — а не сырые данные — по одному дереву за шаг, а картинка t-SNE нужна глазу, но никогда не модели.

Карта темы

• Метод k ближайших соседей — ленивый ученик без этапа обучения, метрики расстояния и обязательное масштабирование, k как ручка смещения и разброса и почему предсказание тормозит в высокой размерности.
• Наивный Байес — теорема Байеса и допущение об условной независимости, почему ложное допущение всё равно ранжирует классы верно, Gaussian/Multinomial/Bernoulli и сглаживание alpha.
• Метод опорных векторов — максимальный зазор и опорные векторы, мягкий зазор и C, ядерный трюк и gamma, SVR с ε-трубкой и почему SVM — для малых и средних таблиц.
• Деревья решений — как узел разбивается по impurity (Gini/entropy), почему неограниченное дерево запоминает данные, обрезка и глубина, и почему impurity-важность признаков смещена к колонкам высокой кардинальности.
• Бустинг-библиотеки — градиентный бустинг как последовательная подгонка негативного градиента, XGBoost против LightGBM против CatBoost (level-wise против leaf-wise, нативные категории) и гиперпараметры, управляющие переобучением.
• Обучение без учителя — k-means и его допущение о сферах, DBSCAN и иерархическая кластеризация, направления максимальной дисперсии PCA и почему t-SNE/UMAP — только для визуализации.
• Снижение размерности — зачем сокращать признаки, LDA как снижение с учётом меток (не больше C − 1 компонент), kernel PCA для нелинейной структуры и почему редуктор обучают только на обучающей выборке.

Значение для собеседований

Классический ML проверяет вашу модель, а не знание API. Кандидат, который говорит «бустинг подгоняет каждое дерево к остатку предыдущего, последовательно», сразу опережает того, кто говорит «он усредняет много деревьев». Что спрашивают постоянно: какую impurity минимизирует разбиение, какие ручки не дают дереву запомнить данные, почему leaf-wise рост переобучается на малых данных и почему PCA и t-SNE не взаимозаменяемы.