728x90 반응형 분류 전체보기54 05장. MLM (문제 5장에서는 BERT, DistilBERT, ALBERT와 같은 모델을 활용하여 Hugging Face의 pipeline으로 [MASK] 토큰의 단어를 예측하는 방법과 각 모델의 특징을 소개한다. 이를 통해 MLM(Masked Language Model) 작업의 기본 사용법과 모델 간의 성능 차이를 이해할 수 있다. 문제24. BERT 로딩 MLM 파이프라인bert-base-uncased 모델을 사용해서 다음 [MASK] 토큰의 단어를 예측해보세요." MLM and NSP is the [MASK] task of BERT." BERT란?BERT(Bidirectional Encoder Representations from Transformers)는 Google에서 개발한 사전학습 언어 모델로, 양방향 학습을.. 2024. 11. 28. 04장. GPT를 활용한 작문 (문제17-23) 4장에서는 Hugging Face의 다양한 GPT 모델을 다루는 방법을 배우고 학습 예제를 제공한다. 각 모델의 특징과 활용 사례를 살펴보며, 이를 활용한 작문과 자연어 처리 기법을 배울 수 있다. 문제17. GPT-Neo 작문 환경 설정허깅페이스 모델 헙(hub)에는 Eleuther AI/gpt-neo repository에 의해 공개된 사전학습 모델인 Eleuther AI/gpt-neo-1.3B 모델이 있습니다. 이는 GPT2 혹은 GPT3의 오픈소스 버전입니다. 이를 사용하기 위해 관련 라이브러리인 트랜스포머스와 sentencepiece를 설치하라. 그리고 모델과 토크나이저를 불러오세요. GPT-Neo란?GPT-Neo는 EleutherAI에서 개발한 오픈소스 언어 모델로, GPT-2 및 GPT-.. 2024. 11. 27. 02장. DistilBERT 파인튜닝 및 평가 (문제12~13) 문제12. Trainer 클래스 사전학습문제4부터 11까지의 과정에 기반한 Trainer클래스를 인스턴스화하고 파인튜닝하세요. 키워드 인수로 model, args, train_dataset, eval_dataset을 명확하게 전달하세요. 그리고 파인튜닝 전후에 다음 세 문장 각각의 극성 판별 결과를 비교하세요.1. "I feel fantastic"2. "My life is going something wrong"3. "I have not figured out what the chosen title has to do with the movie" 먼저 파인튜닝 전에 세 문장의 극성 판별 결과는 다음과 같다.여기서 파인튜닝을 하지 않은 모델이 두,세 번째 입력 문장 극성을 잘못 판정하고 있음에 유의하자. #.. 2024. 11. 26. 5장. 정렬(1) - 퀵정렬이란? 퀵 정렬피벗을 기준으로 좌우를 나누는 특징 때문에 파티션 교환 정렬이라고도 불린다.병렬 정렬과 마찬가리고 분할 정복 알고리즘피벗이라는 개념을 통해 피벗보다 작으면 왼쪽, 크면 오른쪽과 같은 방식으로 파티셔닝하면서 쪼개 나간다.이 중에서도 로무토 파티션이란 항상 맨 오른쪽의 피벗을 택하는 단순한 방식으로, 토니 호어가 고안한 최초의 퀵 정렬 알고리즘보다 훨씬 더 간결하고 이해하기 쉽기 때문에 퀵 정렬 소개 시 항상 맨 처음에 언급됨 퀵 정렬 수도코드Quicksort(A, lo, hi) if lo 기본 조건 확인: Quicksort(A, lo, hi)는 lo 피벗 분할:partition(A, lo, hi) 함수는 A[lo]부터 A[hi]까지의 구간에서 피벗을 기준으로 요소들을 나눈다.이 함수는 피벗 위치를.. 2024. 11. 25. 이전 1 2 3 4 ··· 14 다음 728x90 반응형
