Линейные модели и оптимизация

Линейность по параметрам, независимость ошибок, постоянная дисперсия, нормальные остатки. Гетероскедастичность или коррелированные ошибки не смещают коэффициенты, но ломают формулу стандартных ошибок, и p-значения неверны.

Это изменение цели, когда признак растёт на единицу, а остальные признаки зафиксированы. Коррелированные признаки делают коэффициенты неустойчивыми, вплоть до смены знака, а разные шкалы делают величины несравнимыми до стандартизации.

Линейная подгонка не ограничена, поэтому даёт вероятности меньше нуля или больше единицы и перекашивается далёкими точками. Логистическая регрессия сжимает счёт через sigmoid в модель логарифма шансов и учится на выпуклой log-loss.

1.87 0.8

Варианты: SGD с momentum (накапливает прошлые градиенты), AdaGrad (свой шаг на параметр), RMSProp (AdaGrad со скользящим средним против затухания шага), Adam (momentum + RMSProp) и Adan. Различаются способом адаптации шага и сглаживания направления градиента.

0 1

На умеренных данных — прямым решением МНК через QR или SVD, без явного обращения матрицы; так делает LinearRegression в sklearn. Когда данные не влезают в память, в ход идут градиентные методы: полный GD берёт все объекты на шаге, SGD — один объект или мини-батч и масштабируется лучше всех.

2.0 1.0

Каждая единица роста признака при прочих равных добавляет 0.7 к логарифму шансов положительного класса, то есть шансы умножаются на exp(0.7) ≈ 2. Насколько сдвинется вероятность, зависит от точки на сигмоиде.

0.02 1

0.5 0.95

predict относит строку к положительному классу, когда predict_proba больше 0.5. Если снизить порог, помеченных строк станет больше: полнота растёт или не меняется, точность обычно падает, а переобучать модель не нужно.

Он считает признаки независимыми внутри каждого класса, хотя реальные признаки редко такие. Он всё равно хорошо классифицирует, ведь важен лишь лучший класс: двойной учёт делает вероятности крайними, но редко меняет победителя.

Ошибка на обучении с ростом степени всё время падает, а ошибка на тесте сначала падает, а потом растёт, когда кривая начинает подгоняться под шум. Степень выбирают на валидации, а старшие члены масштабируют и регуляризуют.

6

Модель w0 + w1·x + w2·x² нелинейна по x, но линейна по своим весам: x² входит в неё как ещё один столбец признаков. Поэтому обычный метод наименьших квадратов подбирает её так же, как прямую.

Регуляризация борется с переобучением, добавляя в функционал штраф за норму весов. Для линейных моделей это L1 (сумма модулей весов), L2 (сумма квадратов) и Elastic Net (комбинация L1 и L2). Штраф не даёт весам расти слишком большими.

Остатки строят против прогнозов: бесформенная полоса вокруг нуля — норма. Изгиб значит, что модель упустила нелинейную зависимость, а воронка — что разброс ошибок растёт вместе с прогнозом; часто помогает логарифм целевой переменной.

2.0 0.1

fit бросает ValueError: нужен двумерный X формы (n_samples, n_features)

Порождающая модель учит совместное распределение — априор класса и признаки в классе — и выводит апостериор. Различающая подгоняет границу напрямую. Наивный байес раньше достигает своей асимптотической ошибки и лидирует на малых данных.

Минимизация квадрата ошибки даёт w = (XᵀX)⁻¹Xᵀy. Её избегают, потому что обращение XᵀX дорого при многих признаках, а XᵀX бывает вырожденной или плохо обусловленной — инверсия невозможна или неустойчива. Добавление λI чинит обусловленность; предпочитают градиентные методы.

Симптом переобучения — очень большие веса. При огромных весах два почти одинаковых объекта, отличающихся на эпсилон, могут давать сильно разные предсказания — функция неустойчива. Штраф за норму уменьшает веса к нулю, делая функцию более гладкой и устойчивой, и она лучше обобщает.

Momentum хранит экспоненциально взвешенную сумму последних градиентов и шагает вдоль неё, гася колебания. Сильнее всего помогает на вытянутых (плохо обусловленных) линиях уровня: градиент направлен поперёк узкого оврага, обычный SGD зигзагует, а momentum усредняет боковые колебания и идёт вдоль дна оврага.

Геометрически ограничение L1 — ромб с углами на осях; линия уровня ошибки обычно касается его именно в углу, где вес равен 0. Ограничение L2 — круг без углов. По градиенту: у L1 |∂R/∂w| постоянна, и спуск доходит до 0; у L2 она убывает при w→0, и вес не доходит до нуля.

Зазор — полоса между границей и ближайшими точками, обучение максимизирует её ширину. Опорные векторы — точки на её краю или нарушающие её, только они определяют решение. Большое C сужает зазор, малое расширяет.

Часть L1 обнуляет веса ради отбора, часть L2 сглаженно сжимает и держит задачу корректно поставленной. На коррелированных признаках чистый Lasso произвольно оставляет один и выбрасывает остальные, а член L2 распределяет вес по всей группе.

При идеальной разделимости оптимум максимального правдоподобия не существует: рост весов толкает log-loss к нулю, не достигая его, поэтому коэффициенты расходятся, а солвер встаёт лишь по лимиту итераций. Штраф фиксирует конечное решение.

Нет. Свободный член лишь сдвигает гиперплоскость туда, где лежат данные; это не вес признака. Штраф тянет сдвиг к нулю и мешает верно расположить гиперплоскость, из-за чего качество падает. По соглашению bias из штрафа исключают.

Стандартный алгоритм (Гаусс–Жордан / LU) кубический, O(n³). Быстрое умножение по Штрассену снижает до примерно O(n^2.81), есть и асимптотически более быстрые алгоритмы, но с огромными константами и практическими ограничениями, поэтому их почти не применяют. Эта кубическая стоимость — причина избегать формулы МНК.