(김*영) (강의노트 7장) 주성분 방향 선택

[Lostars05]

강의노트를 읽으며 PCA는 데이터를 가장 잘 설명하는 방향을 차례로 찾으며, 데이터가 가장 넓게 퍼져있는 방향을 첫째 주성분으로 잡는다고 학습하였습니다. 해당 내용을 읽으며 주성분 선택에 있어 궁금한 부분이 생겼습니다.

지금까지 학습한 내용으로는 분산이 작을 수록 좋다고 학습하였는데, PCA는 분산이 큰 방향을 먼저 주성분으로 선택하는 이유가 무엇일지 의문을 가지게 되었습니다. 가까이 붙어있는 방향, 즉 분산이 작은 방향을 선택하게 되면 더 효과적이지 않을까 생각하였으나, PCA는 그렇지 않음에 궁금증을 가지게 되어 질문합니다.

[CodingLackey]

김*준

분산이 작을수록 좋다고 배운 그 분산은, 보통 모델의 예측값의 오차를 말했던 것 입니다.
같은 문제를 풀어도 결과가 들쭉 날쭉하면 분산이 크다고 말했던 것이고 이때의 분산은 일종의 하나의 오차값이고, 그래서 작을수록 좋다고 배웠던 것입니다. (다만, 너무 작으면 과대적합 발생)

앙상블 학습 그림을 이용해서 표현해봤씁니다.

PCA가 쓰는 분산은 이건 오차가 아니라 단순히 데이터 자체가 퍼져 있는 정도, 즉 데이터들이 서로 얼마나 다른지를 나타내는 것 입니다

7.33
분산이 많이 보존된다는 것은 데이터가 서로 얼마나 다르게 분포하는지에 대한 정보가 많이 남는다는 뜻이다.

따라서 PCA에서 분산이 크다는 것은 그 방향으로 데이터가 넓게 퍼져있어 샘플 간 차이가 잘 드러난 것이고 그래서 이를 정보가 많다고 표현합니다

[liganega]

한마디로: 그 분산이 그 분산이 아닌 거죠.