(권*희) (강의노트 22장) 전처리와 데이터분할 순서

[d03020]

22장의 5단계와 6단계를 공부하면서 전처리 순서에 대해 교재의 5단계 코드를 보면 dropna()로 결측치가 있는 행을 먼저 지운 다음에, 6단계에서 train_test_split()으로 훈련 세트와 테스트 세트를 나눕니다. 이처럼 결측치가 있는 샘플을 먼저 삭제하는 방식과 데이터를 먼저 분할하고 전처리를 하는 방식 중 어떤것이 실용적인지 알고 싶습니다.

[liganega]

질문 내용이 궁금한 이유는?

[Kdy0412]

(김*연)

머신러닝 프로젝트 과정은 다음과 같이 수행된다고 합니다. 강의노트에선 dropna()로 결측치를 제거하여 전처리를 수행했습니다.

dropna()말고 다른 방식(스케일링, 결측치 대체 등) 으로 분할 전 전처리를 할 경우에는 다른 데이터들의 숫자를 보고 계산해야하기 때문에 분할 전에 해버리면 테스트셋의 정보가 훈련셋으로 흘러 들어가게(누수) 되는 문제가 생길 수도 있다고 합니다.

[liganega]

@Kdy0412 : @d03020 가 내 질문에 답변할 때까지 기다려야 하는데....

[Kdy0412]

(김*연)
죄송합니다.. 주의하겠습니다

[d03020]

(권*희)
두 과정의 선후관계가 학습이나 결과에 영향을 주는 요인인지 확인하고 싶었습니다

[liganega]

영향을 주죠. 어떻게 하느냐에 따라. 경우를 언급해보세요.