(장*우)(강의노트6장) GBRT 학습률과 트리 개수 관계

[glok1d]

GBRT의 과대적합을 막기 위해 각 트리의 기여도를 줄이는 축소 규제(learning_rate)를 사용한다고 배웠습니다. 그렇다면 learning_rate를 0.1에서 0.01로 10배 줄였다면 원래 세팅해둔 트리의 개수(n_estimators)도 상식적으로 10배 늘려주는 것이 맞는지 두 파라미터가 서로 반비례하며 움직이는 구체적인 매커니즘이 궁금합니다.

[liganega]

좋은 질문이에요. 좀 더 알아보고 답을 알려주세요.

[glok1d]

learning_rate가 0.1이고 n_estimators가 100인 경우, 학습 속도가 매우 빠르고 컴퓨터 자원을 적게 먹는 장점이 있지만 모델이 너무 투박하게 학습되어 최적의 성능(오차 최소화)을 놓칠 수 있습니다.

learning_rate가 0.01이고 n_estimators가 1000인 경우, 더 세밀하게 오차를 좁혀나가므로 대개 예측 성능이 더 좋아지는 장점이 있지만 트리를 10배 더 만들어야 하므로 학습 시간이 훨씬 오래 걸리고 메모리를 많이 쓴다는 단점이 있습니다.

서로 비용과 성능면에서 반비례함

그래서 무조건 트리의 개수를 10배, 20배 늘리는 게 정답이라기보다는, 컴퓨터의 사양과 시간적 여유를 고려해서 규제를 적용하는 게 좋다고 생각합니다.