Линейная регрессия и остатки
Прямая наименьших квадратов, предпосылки модели и границы прогноза.
Перед чтением
Что вы разберёте в этой статье
Прямая наименьших квадратов, предпосылки модели и границы прогноза.
Статистический вывод использует выборку, чтобы осторожно судить о всей совокупности. Любой такой вывод содержит неопределённость, которую нужно явно оценить.
- Линейная регрессия и остатки
- correlation
- hypothesis-testing
Под каждой формулой дана расшифровка величин и условий. Сначала определите, что известно, затем проверьте ограничения и только после этого подставляйте числа.
После теории решите три задачи: простую, среднюю и сложную. Подсказка, шаги решения и ответ открываются отдельно.
Раздел: Статистические выводы · университетский уровень
Линия как описание данных
Линейная регрессия с константой приближает значения y прямой β0+β1x. Метод наименьших квадратов выбирает коэффициенты, минимизирующие сумму квадратов вертикальных остатков. Он не минимизирует геометрические расстояния точек до линии и не является симметричным обмену x и y.
Вычисление и набросок вывода
Запишите сумму квадратов (yi−β0−β1xi) и приравняйте её производные по двум коэффициентам нулю. Первое нормальное уравнение даёт прохождение прямой через точку средних. Второе приводит к отношению суммы центрированных произведений и суммы квадратов x. Если все x одинаковы, наклон отдельно определить нельзя.
Предпосылки статистических выводов
Алгебраическую линию можно построить для любых допустимых пар. Чтобы интерпретировать коэффициенты как несмещённые оценки условного среднего, нужны корректная линейная модель и нулевое условное среднее ошибки. Классические формулы стандартных ошибок используют некоррелированность ошибок и общую дисперсию; точные маловыборочные t/F-выводы обычно предполагают нормальность ошибок. Нормальность самих x не требуется.
Остатки и осторожность
В графике остатков ищут изгибы, меняющийся разброс, выбросы и зависимость от времени. Систематический рисунок указывает, что прямая или предположение о шуме могут не подходить. В модели с константой сумма остатков равна нулю, но это алгебраическое свойство не доказывает правильности предпосылок.
Связь не равна причинности. Прогноз вне наблюдавшегося диапазона является экстраполяцией; даже высокий R² не делает его надёжным. Доверительный интервал среднего ответа и предсказательный интервал нового наблюдения — разные объекты.
Три примера
- Для точек (1,3),(2,5),(3,7) МНК даёт наклон 2 и пересечение 1; все остатки нулевые.
- При x=1,2,3 и y=2,2,5 средние 2 и 3, наклон 1,5, пересечение 0; остатки 0,5,−1,0,5 суммируются к нулю.
- Если x у всех наблюдений равно 4, знаменатель формулы наклона нулевой. Можно оценить среднее y при x=4, но не отдельные наклон и пересечение.
Формула, смысл и ограничения
Главные формулы с расшифровкой
Формула словами: Простая МНК-регрессия с константой; x не должны быть все одинаковыми.
Как применять: Разделите наблюдаемые данные, неизвестный параметр и выбранный уровень уверенности; проверьте предпосылки метода.
От формулы к наблюдению
Попробуйте самостоятельно
Измените параметры и сопоставьте расчёт с результатами случайного эксперимента.
От простого к сложному
Проверьте себя
Сначала запишите решение самостоятельно. Затем можно открыть намёк, сравнить каждый переход с пошаговым разбором и только после этого посмотреть ответ. Прогресс сохраняется в этом браузере.
Точки (0,1),(1,3),(2,5) лежат на прямой. Найдите её наклон.
Принимаются равные дроби и десятичная запись. Бесконечные дроби округляйте минимум до 6 знаков. Для процентов следуйте условию.
Для той же прямой найдите прогноз при x=4.
Принимаются равные дроби и десятичная запись. Бесконечные дроби округляйте минимум до 6 знаков. Для процентов следуйте условию.
x=1,2,3; y=2,2,5. Найдите сумму квадратов остатков МНК-прямой y=1,5x.
Принимаются равные дроби и десятичная запись. Бесконечные дроби округляйте минимум до 6 знаков. Для процентов следуйте условию.
Источники и соглашения
Объяснения и задачи — авторские. Источники помогают проверить определения, условия и школьную привязку. Обозначения и параметризация указаны в статье.