(박*수)(강의노트 18장) 상관계수 관련

[reverseHg]

강의노트에서 상관계수가 0에 가까우면 선형 상관관계가 미약하거나 없는 것이라고 배웠습니다.
그래서 상관계수가 0.0에 가깝게 나오는 가상 데이터 2가지를 만들고 산점도로 그려서 형태를 비교해 보았습니다.

코드를 실행하고 그려보니, 두 그래프 모두 판다스와 넘파이에서는 상관계수가 0에 가깝게 계산됩니다.

1번은 정말로 아무 관계가 없어서 0인 게 직관적으로 이해가 갑니다.
하지만 2번은 규칙성이 눈에 보이는데도
수치상으로는 1번과 똑같이 상관관계 없음으로 분류됩니다.

앤스콤 콰르텟 내용 부분에서 "수치만 믿으면 재앙을 초래한다"고 한 게 바로 이런 경우를 말하는 것 같은데,
이처럼 그래프 상으로 명확한 대칭이나 패턴이 보이는데도 상관계수가 0이 나오는 구조적인 이유가 무엇인지 궁금합니다.
상관계수라는 지표는 오직 한쪽 방향으로 쭉 뻗는 직선만을 평가할 수 있는 한계가 있는 건가요?

[k789duck]

(손*)
맞습니다. 피어슨 상관계수는 두 변수간의 직선(선형) 관계를 측정합니다.
작성하신 2번 포물선은 x<0구간에서 x가 증가할 때 y도 함께 증가합니다. 그리고 x>0구간에서는 x가 증가할 때 y는 감소합니다. 이 두 구간이 대칭을 이루고 있기 때문에 전체 데이터를 합산하는 과정에서 서로 상쇄되기 때문에 그 결과 공분산이 0이 되어 최종 상관계수도 0에 수렴하게 됩니다.

[Bjm0114]

(백*민)
피어슨 상관계수의 수식을 보면 알 수 있습니다.
$r = \frac{\mathrm{Cov}(X,Y)}{\sigma_X \sigma_Y}$
여기서 공분산 Cov(X, Y)는 아래와 같이 정의됩니다.
$\mathrm{Cov}(X,Y)=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})$
위의 수식을 따라 2번 그래프의 공분산 계산 시 아래와 같이 x2의 0을 기준으로 왼쪽 구간은 양의 공분산, 오른쪽 구간은 음의 공분산으로 계산되어, 서로 상쇄되므로 상관계수가 0에 가깝게 나타납니다.

print(np.cov(x2[x2<0], y2[x2<0])[0, 1])
# 86.03117402
print(np.cov(x2[x2>0], y2[x2>0])[0, 1])
# -85.3557260729457

따라서 2번 그래프에서 상관계수가 0에 가깝게 나타나는 것은
공분산 기반의 피어슨 상관계수의 수식 구조가 선형적인 관계를 측정하도록 정의되어 있기 때문입니다.

즉, 피어슨 상관계수는 한쪽 방향으로 증가하거나 감소하는
선형 관계를 평가하는 데 적합하며,
포물선과 같은 비선형 관계는 충분히 반영하지 못할 수 있습니다.