Метод регрессивного анализа

Идентификация объектов

Идентификация восстанавливает параметры или закон поведения объекта по наблюдаемым входам и выходам. Регрессия — один из способов построить такую приближённую зависимость.

Линейная регрессия

$y={\beta }_0+{\beta }_1{x}_1+\dots +{\beta }_p{x}_p+\epsilon$

$y$ — целевая переменная, $x_i$ — признаки, ${\beta }_i$ — оцениваемые коэффициенты, $\epsilon$ — необъяснённая часть.

Обычный метод наименьших квадратов выбирает коэффициенты, минимизирующие:

${\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2$

Рабочий порядок

1. Сформулировать, что нужно объяснить или предсказать.
2. Разделить наблюдения во времени или на train/test до подбора модели.
3. Исследовать пропуски, выбросы и утечку целевого признака.
4. Выбрать форму зависимости и признаки.
5. Оценить коэффициенты.
6. Проверить остатки и качество на отложенных данных.
7. Оценить устойчивость коэффициентов и диапазон применимости.

Что проверять

• зависимость действительно близка к линейной;
• остатки не содержат заметной структуры;
• наблюдения не создают ложную уверенность из-за временной зависимости;
• сильная мультиколлинеарность не делает коэффициенты нестабильными;
• экстраполяция не выходит далеко за область данных.

$R^2$ показывает долю объяснённой вариации на конкретной выборке, но не доказывает причинность и не гарантирует хороший прогноз.

Инженерный пример

Можно оценить связь времени обработки с размером пакета и числом обращений к хранилищу. Если коэффициент при числе обращений устойчиво велик, это повод поставить эксперимент с пакетной загрузкой. Это ещё не доказательство причины: оба признака могут расти из-за третьего фактора.

Самопроверка

• Почему высокий $R^2$ не доказывает причинность?
• Как утечка данных делает метрику нереалистичной?
• Зачем анализировать остатки?