02. 하이퍼파라미터 튜닝 시 조정하는 주요 파라미터와 접근 방법

하이퍼파라미터 튜닝은 모델 성능을 최적화하는 중요한 단계입니다. 일반적으로 조정하는 파라미터와 접근 방법은 다음과 같습니다.

1. 주요 하이퍼파라미터:
   • 학습률 (Learning Rate): 모델이 학습할 때 가중치를 조정하는 크기를 결정합니다. 너무 크면 최적화가 불안정해지고, 너무 작으면 학습이 매우 느려질 수 있습니다.
   • 배치 크기 (Batch Size): 한 번에 처리하는 데이터 샘플의 수입니다. 큰 배치는 빠른 계산을 가능하게 하지만, 메모리 사용이 증가할 수 있습니다.
   • 규제 파라미터 (Regularization Parameter): 과적합을 방지하기 위해 가중치에 페널티를 부과하는 정도를 설정합니다. L1, L2 규제가 대표적입니다.
   • 드롭아웃 비율 (Dropout Rate): 신경망에서 특정 비율의 노드를 무작위로 비활성화하여 과적합을 방지합니다.
2. 튜닝 방법:
   • 그리드 서치 (Grid Search):
     • 설명: 미리 정의된 하이퍼파라미터 집합에 대해 모든 조합을 테스트하여 최적의 조합을 찾습니다.
     • 장점: 모든 가능성을 테스트하므로 최적의 조합을 찾을 가능성이 높습니다.
     • 단점: 계산 비용이 높아 시간이 오래 걸릴 수 있습니다.

from sklearn.model_selection import GridSearchCV

param_grid = {
    'learning_rate': [0.001, 0.01, 0.1],
    'batch_size': [16, 32, 64]
}
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, scoring='f1', cv=3)
grid_search.fit(X_train, y_train)

• 랜덤 서치 (Random Search):
  • 설명: 하이퍼파라미터 공간에서 임의로 샘플링하여 테스트합니다.
  • 장점: 계산 비용이 상대적으로 낮고, 넓은 범위를 탐색할 수 있습니다.
  • 단점: 최적의 조합을 놓칠 수 있습니다.

from sklearn.model_selection import RandomizedSearchCV

param_distributions = {
    'learning_rate': [0.001, 0.01, 0.1],
    'batch_size': [16, 32, 64]
}
random_search = RandomizedSearchCV(estimator=model, param_distributions=param_distributions, n_iter=10, scoring='f1', cv=3)
random_search.fit(X_train, y_train)

• 베이지안 최적화 (Bayesian Optimization):
  • 설명: 이전 평가 결과를 바탕으로 하이퍼파라미터를 효율적으로 선택하여 최적화를 진행합니다.
  • 장점: 효율적으로 최적의 파라미터 조합을 찾을 수 있습니다.
  • 단점: 구현이 비교적 복잡할 수 있습니다.
  • 라이브러리: scikit-optimize, hyperopt, optuna 등이 있습니다.

---

추가)

베이지안 최적화는 고급 하이퍼파라미터 튜닝 기법으로, 모델 성능을 최적화하는 과정에서 매우 효과적일 수 있습니다. 이 기법이 특히 효과적인 상황은 다음과 같습니다:

베이지안 최적화가 효과적인 상황

1. 고차원 하이퍼파라미터 공간:
   • 설명: 조정해야 할 하이퍼파라미터의 수가 많고, 각 파라미터가 가질 수 있는 값의 범위가 넓은 경우.
   • 효과: 베이지안 최적화는 탐색 공간을 효율적으로 줄여 가장 유망한 파라미터 조합을 빠르게 찾을 수 있습니다.
2. 시간 및 계산 자원이 제한된 경우:
   • 설명: 하이퍼파라미터 튜닝에 사용할 수 있는 시간이나 계산 자원이 제한되어 있어 모든 조합을 탐색할 수 없는 경우.
   • 효과: 기존의 탐색 결과를 바탕으로 다음 탐색 지점을 결정하여, 필요한 실험 횟수를 최소화합니다.
3. 비선형 및 복잡한 목표 함수:
   • 설명: 모델의 성능 함수가 비선형적이며, 단순한 탐색으로는 최적점을 찾기 어려운 경우.
   • 효과: 베이지안 최적화는 목표 함수의 분포를 모델링하고, 높은 확률로 개선할 수 있는 파라미터 조합을 예측합니다.
4. 실험 비용이 높은 경우:
   • 설명: 모델 학습 및 평가에 많은 시간이나 자원이 소모되어 한 번의 실험이 비용이 많이 드는 경우.
   • 효과: 가능한 한 적은 실험으로 최적의 결과를 얻도록 설계되어 비용 효율적입니다.
5. 초기 데이터로부터 학습할 수 있는 경우:
   • 설명: 이전에 수행한 실험 결과가 있을 때, 이를 활용하여 초기부터 효율적인 탐색이 필요한 경우.
   • 효과: 초기의 실험 데이터로부터 추론하여 탐색 방향을 가이드하기 때문에 빠른 수렴이 가능합니다.

베이지안 최적화의 장점

• 적응적 탐색: 이전의 탐색 결과를 바탕으로 다음 탐색 지점을 선택하여 효율적으로 최적화를 수행합니다.
• 높은 수렴 속도: 기존 기법에 비해 빠르게 최적의 하이퍼파라미터 조합에 수렴할 수 있습니다.
• 자동화된 탐색: 복잡한 하이퍼파라미터 공간에서 수동 조정 없이 최적화를 자동화할 수 있습니다.

베이지안 최적화 라이브러리

• Optuna: 사용하기 쉽고 강력한 하이퍼파라미터 최적화 라이브러리로, 자동으로 최적의 파라미터를 탐색합니다.
• Hyperopt: 유사한 기능을 제공하며, 다양한 검색 알고리즘을 지원합니다.
• Scikit-optimize (skopt): Scikit-learn과 잘 통합되며, 간편한 API로 베이지안 최적화를 제공합니다.
  
  

import optuna
from sklearn.model_selection import cross_val_score
from sklearn.datasets import load_iris
from sklearn.svm import SVC

# 목적 함수 정의
def objective(trial):
    # 하이퍼파라미터 제안
    c = trial.suggest_loguniform('C', 1e-3, 1e3)
    gamma = trial.suggest_loguniform('gamma', 1e-3, 1e3)
    kernel = trial.suggest_categorical('kernel', ['linear', 'rbf'])
    
    # 모델 초기화
    model = SVC(C=c, gamma=gamma, kernel=kernel)
    
    # 교차 검증
    iris = load_iris()
    score = cross_val_score(model, iris.data, iris.target, n_jobs=-1, cv=3).mean()
    
    return score

# 스터디 생성 및 최적화 실행
study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=100)

# 최적의 하이퍼파라미터 출력
print("Best trial:")
trial = study.best_trial
print(f"Value: {trial.value}")
print("Params:")
for key, value in trial.params.items():
    print(f"    {key}: {value}")