Корреляция, связь и независимость

Нормированная ковариация

Корреляция Пирсона делит ковариацию на произведение стандартных отклонений. Так исчезают единицы измерения, и число оказывается между −1 и 1. Она описывает линейную связь, а не всякую зависимость.

Условия и крайние значения

Требуются конечные положительные дисперсии. Если один признак постоянен, знаменатель нулевой: корректный результат — «не определена», а не ноль. При этих условиях абсолютная корреляция равна 1 тогда и только тогда, когда одна величина является аффинной функцией другой почти наверное с ненулевым наклоном. Знак корреляции совпадает со знаком наклона.

Почему модуль не превышает 1

Примените неравенство Коши–Буняковского к центрированным величинам. Квадрат ковариации не превосходит произведения дисперсий. Деление на положительный знаменатель даёт оценку. Условие равенства соответствует линейной зависимости центрированных величин.

Ноль и причинность

Независимость с существующими вторыми моментами влечёт нулевую корреляцию, но обратное неверно: X и X² при симметричной X дают нелинейный контрпример. Для совместно нормального вектора нулевая ковариация координат действительно влечёт их независимость; нормальности отдельных маргинальных законов недостаточно.

Выборочная корреляция r — статистика данных, а не известная генеральная корреляция ρ. Выбросы, отбор наблюдений и скрытый общий фактор могут существенно менять r. Ни высокий коэффициент, ни красивое облако точек сами по себе не доказывают причинность.

Три примера

1. При Cov(X,Y)=3,Var(X)=4,Var(Y)=9 получаем ρ=3/(2·3)=1/2.
2. Если Y=−2X+7 и Var(X)>0 конечна, то ρ=−1: увеличение X полностью соответствует уменьшению Y.
3. При X, равномерной на {−1,0,1}, и Y=X² ковариация равна нулю, но P(Y=0|X=0)=1 отличается от P(Y=0)=1/3.