반응형 GPT-21 [프로젝트] 데이터 전처리를 위한 데이터 수집(2) 3. 데이터 학습3.1) 데이터 학습 모델 선택LLM(Large Language Model, 대규모 언어 모델)을 선택해야한다.1) HuggingFaceTransformers 기반의 GPT-2, GPT-J, KoGPT 등을 로컬이나 클라우드 환경에서 파인튜닝하기2) OpenAI API 등 외부 API 이용해서 파인튜닝우선은 1번 HuggingFace Transformers 기반의 GPT를 이용해서 로컬에서 파인튜닝을 해보려고 한다.더보기HuggingFace Transformers와 OpenAI API 등 외부 API 이용 시 비교내용이다.일단은 1번으로 해보고 너무 복잡하면 2로 가야겠다..3.2) HuggingFaceTransformers1) 파이썬 설치파이썬 버전 3.11.0 기준으로 프로젝트를 진행.. 2025. 1. 9. 이전 1 다음 반응형
