하이퍼파라미터 튜닝 후 모델 성능 저하 원인

 

• 과적합(Overfitting): 하이퍼파라미터를 너무 세밀하게 조정한 경우, 모델이 학습 데이터에 지나치게 맞추어져서 일반화 능력이 떨어질 수 있다. 이로 인해 새로운 데이터에 대한 성능이 저하될 수 있다.
• 탐색 공간의 오류(Search Space Issue): 하이퍼파라미터 튜닝 시 잘못된 하이퍼파라미터 범위나 값들을 탐색할 수 있다. 예를 들어, 학습률이 너무 낮거나 높게 설정되면 최적화 과정에서 문제가 발생할 수 있다.
• 데이터의 불균형(Data Imbalance): 하이퍼파라미터 튜닝 과정에서 특정 클래스나 패턴에 대한 가중치가 과도하게 조정되어, 모델이 데이터의 일부에만 적응할 수 있다. 이로 인해 전체적인 성능이 저하될 수 있다.
• 과도한 복잡성(Too Much Complexity): 하이퍼파라미터를 조정하여 모델의 복잡도가 증가하면, 더 많은 자원이 필요하게 되고 모델이 불안정해질 수 있다. 이 경우에도 성능 저하가 발생할 수 있다.
• 랜덤성(Randomness): 하이퍼파라미터 튜닝 과정에서 무작위 요소가 개입하여 일시적으로 성능이 저하될 수 있다. 특히, 무작위 초기화나 데이터 샘플링 방법의 차이에 따라 결과가 달라질 수 있다.

Optimized XGBoost Classification Report:

    accuracy                           0.75     89370
   macro avg       0.77      0.75      0.75     89370
weighted avg       0.77      0.75      0.75     89370

여기서

 

이렇게 되었다.

과적합이거나 튜닝 과정에서의 과잉 적응 (Over-tunning) 이 된 것 같다.

정규화 , 드롭아웃 또는 교차 검증을 통해 해결해야 겠다.