728x90 반응형 허깅페이스5 05장. MLM (문제 5장에서는 BERT, DistilBERT, ALBERT와 같은 모델을 활용하여 Hugging Face의 pipeline으로 [MASK] 토큰의 단어를 예측하는 방법과 각 모델의 특징을 소개한다. 이를 통해 MLM(Masked Language Model) 작업의 기본 사용법과 모델 간의 성능 차이를 이해할 수 있다. 문제24. BERT 로딩 MLM 파이프라인bert-base-uncased 모델을 사용해서 다음 [MASK] 토큰의 단어를 예측해보세요." MLM and NSP is the [MASK] task of BERT." BERT란?BERT(Bidirectional Encoder Representations from Transformers)는 Google에서 개발한 사전학습 언어 모델로, 양방향 학습을.. 2024. 11. 28. 04장. GPT를 활용한 작문 (문제17-23) 4장에서는 Hugging Face의 다양한 GPT 모델을 다루는 방법을 배우고 학습 예제를 제공한다. 각 모델의 특징과 활용 사례를 살펴보며, 이를 활용한 작문과 자연어 처리 기법을 배울 수 있다. 문제17. GPT-Neo 작문 환경 설정허깅페이스 모델 헙(hub)에는 Eleuther AI/gpt-neo repository에 의해 공개된 사전학습 모델인 Eleuther AI/gpt-neo-1.3B 모델이 있습니다. 이는 GPT2 혹은 GPT3의 오픈소스 버전입니다. 이를 사용하기 위해 관련 라이브러리인 트랜스포머스와 sentencepiece를 설치하라. 그리고 모델과 토크나이저를 불러오세요. GPT-Neo란?GPT-Neo는 EleutherAI에서 개발한 오픈소스 언어 모델로, GPT-2 및 GPT-.. 2024. 11. 27. 02장. DistilBERT 파인튜닝 및 평가 (문제12~13) 문제12. Trainer 클래스 사전학습문제4부터 11까지의 과정에 기반한 Trainer클래스를 인스턴스화하고 파인튜닝하세요. 키워드 인수로 model, args, train_dataset, eval_dataset을 명확하게 전달하세요. 그리고 파인튜닝 전후에 다음 세 문장 각각의 극성 판별 결과를 비교하세요.1. "I feel fantastic"2. "My life is going something wrong"3. "I have not figured out what the chosen title has to do with the movie" 먼저 파인튜닝 전에 세 문장의 극성 판별 결과는 다음과 같다.여기서 파인튜닝을 하지 않은 모델이 두,세 번째 입력 문장 극성을 잘못 판정하고 있음에 유의하자. #.. 2024. 11. 26. 02장. DistilBERT 파인튜닝 및 평가 (문제8~11) 문제8. 데이터세트 클래스 생성Torch.utils.data.Dataset을 상속하는 IMDbFDataset이라는 클래스를 작성하세요. 그리고 문제 7의 IMDB 데이터세트에서 생성한 학습, 검증, 테스트 데이터세트를 입력해서 이 클래스를 인스턴스화합니다. 클래스 및 인스턴스화 개념은 문제2를 참고하세요. 상속이란? 클래스를 생성할 때 다른 클래스의 기능을 가져다 쓰는 것을 상속이라고 합니다. 예를 들어 20층 건물을 지을 때, 타 고층 빌딩의 설계도를 참고하면 도움이 됩니다. 엘리베이터 기능, 공조 기능, 지진 설계 등을 빌려와 쓸 수 있다면 시간과 노력이 절감됩니다. 즉, 객체 A를 짓는 설계도 클래스의 기능을 물려받아 객체 B를 짓는 설계도 클래스에서 그대로 사용한다는 개념이 바로 상속입니다. .. 2024. 11. 24. 이전 1 2 다음 728x90 반응형
