하이퍼파라미터 (Hyperparameter)

하이퍼파라미터는 모델이 학습을 할 때 사용되는 설정값들로, 모델 학습 과정 외부에서 설정되는 변수입니다.

모델의 구조나 학습 방식에 영향을 미치는 값들을 의미하며, 이 값들은 학습 과정에서 변경되지 않습니다.

예시:

• 학습률(learning rate): 모델이 학습할 때, 가중치(weight)를 얼마나 크게 또는 작게 변경할지를 결정하는 값입니다.
• 배치 크기(batch size): 한 번에 모델이 학습할 데이터의 양을 의미합니다. 예를 들어, 배치 크기가 32라면 한 번의 학습에서 32개의 데이터를 사용하게 됩니다.
• 에포크 수(epoch): 전체 데이터셋을 몇 번 반복해서 학습할지를 결정하는 값입니다.

하이퍼파라미터는 모델의 성능에 큰 영향을 미치기 때문에, 적절한 값을 찾기 위해 여러 번 실험을 통해 최적화를 시도하는 경우가 많습니다.

 

---

학습률(Learning Rate)

정의: 학습률은 모델이 학습 과정에서 가중치를 업데이트할 때 사용하는 스텝의 크기를 결정하는 하이퍼파라미터입니다. 학습률은 매우 중요한 하이퍼파라미터 중 하나로, 모델이 얼마나 빠르게 또는 천천히 학습하는지를 조정합니다.

비유: 학습률은 마치 계단을 오를 때 한 번에 몇 계단씩 오를지를 결정하는 것과 같습니다. 학습률이 너무 크면(즉, 너무 큰 스텝으로 계단을 오르면) 목표에 도달하기 전에 넘어질 수 있고, 너무 작으면(즉, 너무 작은 스텝으로 오르면) 목표에 도달하는 데 시간이 오래 걸릴 수 있습니다.

상황:

• 학습률이 너무 높을 때: 모델이 학습 중에 가중치를 너무 크게 변경하여 최적의 값에 도달하지 못하고, 학습이 불안정해질 수 있습니다.
• 학습률이 너무 낮을 때: 모델이 학습을 매우 천천히 진행하여, 최적의 가중치에 도달하는 데 많은 시간이 걸리며, 때로는 지역 최적값(local optimum)에 갇힐 수 있습니다.

조정 방법: 모델을 파인튜닝할 때는 학습률을 조정하여 모델이 새로운 데이터에 적절히 적응할 수 있도록 해야 합니다. 일반적으로 파인튜닝 시에는 학습률을 낮게 설정하여, 기존에 학습된 지식을 유지하면서 새로운 데이터를 학습할 수 있도록 합니다.

 

배치(Batch)

정의: 배치(Batch)는 모델이 학습할 때 한 번에 처리하는 데이터의 묶음을 의미합니다. 전체 데이터셋을 한 번에 학습시키는 대신, 데이터를 여러 작은 그룹으로 나누어 모델이 한 그룹씩 차례로 학습하도록 하는 것입니다.

예시:

• 예를 들어, 10,000개의 데이터가 있는 데이터셋이 있다고 가정합니다. 만약 배치 크기(batch size)를 32로 설정했다면, 모델은 한 번의 학습 단계에서 32개의 데이터를 사용합니다. 그런 다음, 다음 32개의 데이터를 사용하여 또 다른 학습 단계를 진행합니다. 이 과정을 반복하여 전체 데이터를 학습합니다.

장점:

• 메모리 절약: 한 번에 전체 데이터를 처리하는 것보다 메모리 사용량이 적습니다.
• 모델 성능: 배치를 사용하면 모델이 점진적으로 학습하게 되어, 학습 과정이 안정적이고 효율적이 됩니다.

에포크(Epoch)

정의: 에포크(Epoch)는 전체 데이터셋을 한 번 모델에 학습시키는 과정을 의미합니다. 즉, 에포크가 1일 때는 모델이 모든 데이터를 한 번씩 학습한 것입니다.

예시:

• 만약 데이터셋에 10,000개의 데이터가 있고, 배치 크기를 32로 설정했다면, 한 에포크는 10,000개의 데이터를 32개씩 나누어 총 312번(10,000 ÷ 32 = 312.5, 반올림하여 313) 모델에 학습시키는 과정이 됩니다.
• 에포크가 10이라면, 모델은 이 과정을 10번 반복하여 전체 데이터를 10번 학습하게 됩니다.

장점:

• 모델의 학습 기회: 여러 에포크를 통해 모델이 동일한 데이터를 여러 번 접하게 되어, 학습이 깊어지고 성능이 개선될 수 있습니다.
• 수렴: 에포크 수가 충분할 때 모델이 점진적으로 최적화되며, 학습이 안정화됩니다.

---

배치와 에포크의 관계

• 배치와 에포크의 상호작용: 배치 크기와 에포크 수는 모델의 학습 속도와 성능에 영향을 줍니다. 작은 배치를 사용하면 학습 과정에서 자주 가중치를 업데이트하게 되어 학습이 더 세밀해질 수 있지만, 학습이 불안정할 수 있습니다. 큰 배치를 사용하면 학습이 더 안정적일 수 있지만, 메모리를 많이 사용하고 학습이 느릴 수 있습니다.
• 에포크 수 조정: 에포크 수가 너무 적으면 모델이 충분히 학습되지 않을 수 있고, 너무 많으면 과적합(overfitting)될 수 있습니다. 적절한 에포크 수는 실험을 통해 찾아야 합니다.