728x90
반응형

2024/08/14 4

하이퍼파라미터 (Hyperparameter)

하이퍼파라미터는 모델이 학습을 할 때 사용되는 설정값들로, 모델 학습 과정 외부에서 설정되는 변수입니다.모델의 구조나 학습 방식에 영향을 미치는 값들을 의미하며, 이 값들은 학습 과정에서 변경되지 않습니다.예시:학습률(learning rate): 모델이 학습할 때, 가중치(weight)를 얼마나 크게 또는 작게 변경할지를 결정하는 값입니다.배치 크기(batch size): 한 번에 모델이 학습할 데이터의 양을 의미합니다. 예를 들어, 배치 크기가 32라면 한 번의 학습에서 32개의 데이터를 사용하게 됩니다.에포크 수(epoch): 전체 데이터셋을 몇 번 반복해서 학습할지를 결정하는 값입니다.하이퍼파라미터는 모델의 성능에 큰 영향을 미치기 때문에, 적절한 값을 찾기 위해 여러 번 실험을 통해 최적화를 시도..

파인튜닝의 유형

1. 완전 파인튜닝(Full Fine-Tuning)완전 파인튜닝(Full Fine-Tuning)은 사전 학습된 모델의 모든 층을 학습시키는 방법이다. 이 방법에서는 모델의 모든 가중치가 새로운 데이터에 맞게 조정된다. 예를 들어, 이미지 인식 모델에서 사전 학습된 모든 계층을 사용하여 새로운 데이터셋으로 학습을 진행하면, 모델은 기존에 학습한 지식을 활용하면서도 새로운 데이터에 최적화된 상태로 전환된다. 이 방법은 특히 모델이 새로운 도메인에 대해 완전히 적응해야 할 때 유용하다. 2. 부분 파인튜닝(Partial Fine-Tuning)부분 파인튜닝(Partial Fine-Tuning)은 모델의 일부 층만 학습시키고 나머지 층은 고정(freeze)된 상태로 유지하는 방법이다. 예를 들어, 사전 학습된 모..

728x90
반응형