본문 바로가기
반응형

dev88

[프로젝트] 데이터 전처리를 위한 데이터 수집(2) 3. 데이터 학습3.1) 데이터 학습 모델 선택LLM(Large Language Model, 대규모 언어 모델)을 선택해야한다.1) HuggingFaceTransformers 기반의 GPT-2, GPT-J, KoGPT 등을 로컬이나 클라우드 환경에서 파인튜닝하기2) OpenAI API 등 외부 API 이용해서 파인튜닝우선은 1번 HuggingFace Transformers 기반의 GPT를 이용해서 로컬에서 파인튜닝을 해보려고 한다.더보기HuggingFace Transformers와 OpenAI API 등 외부 API 이용 시 비교내용이다.일단은 1번으로 해보고 너무 복잡하면 2로 가야겠다..3.2) HuggingFaceTransformers1) 파이썬 설치파이썬 버전 3.11.0 기준으로 프로젝트를 진행.. 2025. 1. 9.
[프로젝트] 데이터 전처리를 위한 데이터 수집(1) 1. 프로젝트 시작 전, 어떤 데이터가 필요할지해당 내용은 프로젝트 시작 전 데이터 전처리를 위한 데이터 수집 및 회의록 용도로 작성된 것입니다.전체적인 구상 중 실제로 어떤 데이터를 수집하면 좋을지를 먼저 공부해야 했다.운세 사이트에서는 어떤 데이터를 기반으로 운세를 알려주는 건지, 또 어떤 운세를 제공하는 지를 먼저 알아야 데이터를 수집할 수 있다.1.1) 사주제공 사항- 사용자가 입력한 생년월일시(양력 혹은 음력 기준)을 토대로 천간과 지지, 십이운성, 신살 등 계산해서 표 형태로 제공- 사주의 구조(일주, 월주, 연주, 시주 등)을 분석- 사용자의 성격, 직업, 운, 대연 흐름 등을 해석 필요한 데이터- 만세력(간지 계산법, 음력-양력 변환, 24절기, 태양력&태음력 간 오차 보정 기능)- 만세력.. 2025. 1. 7.
[JAVA] 빠르게 정리하는 자바 문법 (9) 더보기해당 글은 아래 링크를 참고하여 작성되었습니다.https://www.tcpschool.com/java/java_lambda_concept18. JAVA8 람다1. 람다 표현식람다 표현식(lambda expression)이란 간단히 말해 메소드를 하나의 식으로 표현한 것이다.클래스를 작성하고 객체를 생성하지 않아도 메소드를 사용할 수 있다.그런데 자바에서는 클래스의 선언과 동시에 객체를 생성하므로, 단 하나의 객체만을 생성할 수 있는 클래스를 익명 클래스라고 한다.따라서 자바에서 람다 표현식은 익명 클래스와 같다고 할 수 있다.이러한 람다 표현식은 메소드의 매개변수로 전달될 수도 있으며, 메소드의 결괏값으로 반환될 수도 있다.Java SE 8부터는 이러한 람다 표현식을 사용하여 자바에서도 함수형 프로.. 2025. 1. 2.
[JAVA] 빠르게 정리하는 자바 문법 (8) 더보기해당 글은 아래 링크를 참고하여 작성되었습니다.https://www.tcpschool.com/java/java_exception_intro15. 예외 처리1. 예외 처리자바 프로그램을 작성할 때 자바 문법에 맞지 않게 코드를 작성하고 컴파일하려고 하면 자바 컴파일러는 문법 오류(syntax error)를 발생시킨다.또한, 자바 문법에는 맞게 작성되었다 하더라도 프로그램이 실행되면서 예상하지 못한 오류가 발생할 수 있다.이렇게 컴퓨터 시스템이 동작하는 도중에 예상하지 못한 사태가 발생하여 실행 중인 프로그램이 영향을 받는 것을 오류(error)와 예외(exception) 두 가지로 구분할 수 있다. 오류(error)는 시스템 레벨에서 프로그램에 심각한 문제를 야기하여 실행 중인 프로그램을 종료시킨다... 2025. 1. 2.
[JAVA] 빠르게 정리하는 자바 문법 (7) 더보기해당 글은 아래 링크를 참고하여 작성되었습니다.https://www.tcpschool.com/java/java_generic_concept13. 제네릭1. 제네릭의 개념자바에서 제네릭(generic)이란 데이터의 타입(data type)을 일반화한다(generalize)는 것을 의미한다.제네릭은 클래스나 메소드에서 사용할 내부 데이터 타입을 컴파일 시에 미리 지정하는 방법으로 이렇게 컴파일 시에 미리 타입 검사(type check)를 수행하면 다음과 같은 장점을 가진다.1. 클래스나 메소드 내부에서 사용되는 객체의 타입 안정성을 높일 수 있다2. 반환값에 대한 타입 변환 및 타입 검사에 들어가는 노력을 줄일 수 있다.JDK 1.5부터 도입된 제네릭을 사용하면 컴파일 시에 미리 타입이 정해지므로, 타.. 2025. 1. 1.
[JAVA] 빠르게 정리하는 자바 문법 (6) 더보기해당 글은 아래 링크를 참고하여 작성되었습니다.https://www.tcpschool.com/java/java_polymorphism_concept11. 다형성1. 다형성의 개념 다형성(polymorphism)이란 하나의 객체가 여러 가지 타입을 가질 수 있는 것을 의미한다. 자바에서는 이러한 다형성을 부모 클래스 타입의 참조 변수로 자식 클래스 타입의 인스턴스를 참조할 수 있도록 하여 구현하고 있다. 클래스는 상속을 통해 확장될 수는 있어도 축소될 수는 없으므로, 자식 클래스에서 사용할 수 있는 멤버의 개수가 언제나 부모 클래스와 같거나 많게 된다.class Parent { ... }class Child extends Parent { ... }...Parent pa = new Parent(); /.. 2024. 12. 31.
반응형

티스토리툴바