728x90 반응형 distilbert4 05장. MLM (문제 5장에서는 BERT, DistilBERT, ALBERT와 같은 모델을 활용하여 Hugging Face의 pipeline으로 [MASK] 토큰의 단어를 예측하는 방법과 각 모델의 특징을 소개한다. 이를 통해 MLM(Masked Language Model) 작업의 기본 사용법과 모델 간의 성능 차이를 이해할 수 있다. 문제24. BERT 로딩 MLM 파이프라인bert-base-uncased 모델을 사용해서 다음 [MASK] 토큰의 단어를 예측해보세요." MLM and NSP is the [MASK] task of BERT." BERT란?BERT(Bidirectional Encoder Representations from Transformers)는 Google에서 개발한 사전학습 언어 모델로, 양방향 학습을.. 2024. 11. 28. 02장. DistilBERT 파인튜닝 및 평가 (문제12~13) 문제12. Trainer 클래스 사전학습문제4부터 11까지의 과정에 기반한 Trainer클래스를 인스턴스화하고 파인튜닝하세요. 키워드 인수로 model, args, train_dataset, eval_dataset을 명확하게 전달하세요. 그리고 파인튜닝 전후에 다음 세 문장 각각의 극성 판별 결과를 비교하세요.1. "I feel fantastic"2. "My life is going something wrong"3. "I have not figured out what the chosen title has to do with the movie" 먼저 파인튜닝 전에 세 문장의 극성 판별 결과는 다음과 같다.여기서 파인튜닝을 하지 않은 모델이 두,세 번째 입력 문장 극성을 잘못 판정하고 있음에 유의하자. #.. 2024. 11. 26. 02장. DistilBERT 파인튜닝 및 평가 (문제8~11) 문제8. 데이터세트 클래스 생성Torch.utils.data.Dataset을 상속하는 IMDbFDataset이라는 클래스를 작성하세요. 그리고 문제 7의 IMDB 데이터세트에서 생성한 학습, 검증, 테스트 데이터세트를 입력해서 이 클래스를 인스턴스화합니다. 클래스 및 인스턴스화 개념은 문제2를 참고하세요. 상속이란? 클래스를 생성할 때 다른 클래스의 기능을 가져다 쓰는 것을 상속이라고 합니다. 예를 들어 20층 건물을 지을 때, 타 고층 빌딩의 설계도를 참고하면 도움이 됩니다. 엘리베이터 기능, 공조 기능, 지진 설계 등을 빌려와 쓸 수 있다면 시간과 노력이 절감됩니다. 즉, 객체 A를 짓는 설계도 클래스의 기능을 물려받아 객체 B를 짓는 설계도 클래스에서 그대로 사용한다는 개념이 바로 상속입니다. .. 2024. 11. 24. 01장. 파이프라인 (감성 분석, 질의 응답 with DistilBERT) 문제2. 감성 분석 - DistilBert 모델 사용Distilbert 모델을 사용하여 감성 분석을 실행하는 문제이다. 다음 나열된 입력 문장들이 긍정인지 부정인지 판단하세요.(1) " I like Olympic games as it's very exciting." (나는 올림픽이 흥미진진하기 때문에 좋아합니다.)(2) " I'm against to hold Olympic games in Tokyo in terms of preventing the covid19 to be spread." (나는 코비드19 확산 방지 차원에서 도쿄 올림픽 개최를 반대합니다.) 문제2는 허깅 페이스의 transformers 라이브러리를 활용하여 DistilBERT 모델을 사용한 감성 분석을 수행한다.감성 분석은 텍스트에서 감.. 2024. 11. 21. 이전 1 다음 728x90 반응형
