728x90
반응형

2025/01 2

LoRA 보다 풀 파인튜닝 할 때 CER 성능이 더 좋아진 이유

LoRA(Low-Rank Adaptation)와 풀 파인튜닝(full fine-tuning)의 CER (Character Error Rate) 성능 차이는 여러 가지 이유로 발생할 수 있습니다. 주된 이유는 모델의 적합성, 학습된 파라미터의 수, 훈련 데이터의 크기 및 모델이 학습할 수 있는 정보의 양에 따라 달라집니다. 아래에 그 이유들을 자세히 설명하겠습니다:1. 모델의 적합성 (Model Fit)풀 파인튜닝: 모델 전체를 훈련시킴으로써 모든 파라미터가 데이터에 적합하도록 최적화됩니다. 이로 인해 모델이 데이터의 특징을 더 잘 반영할 수 있으며, 특히 훈련 데이터와 테스트 데이터에서 성능 향상이 나타날 수 있습니다.LoRA: LoRA는 모델의 특정 레이어만 수정하여 효율적으로 학습을 진행하는 방법입니..

AI Development 2025.01.12

RunPod

Runpod에 대한 개요Runpod는 고성능 컴퓨팅 리소스를 임대하거나 제공하는 플랫폼임. 주로 GPU를 활용한 작업(딥러닝, AI 모델 훈련, 데이터 처리 등)을 수행하기 위해 설계되었음. 사용자들은 Runpod를 통해 클라우드 기반의 GPU 인프라를 효율적으로 사용하면서도 저렴한 비용으로 고성능을 이용할 수 있음.주요 특징유연한 GPU 사용:GPU가 필요한 작업량만큼 리소스를 동적으로 할당 가능.필요할 때만 사용하고 사용한 만큼만 비용을 지불하는 Pay-as-you-go 모델 제공.사용자 친화적 인터페이스:복잡한 설정 없이 간단한 인터페이스로 GPU 인스턴스를 생성하고 관리할 수 있음.CLI(Command Line Interface)와 API도 지원해서 개발 워크플로에 쉽게 통합 가능.다양한 GPU ..

AI Development 2025.01.03
728x90
반응형