728x90 반응형 책 리뷰/101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머7 02장. DistilBERT 파인튜닝 및 평가 (문제4~7) 문제4. IMDB 데이터세트IMDB 데이터세트는 영화 리뷰 코멘트의 긍정/부정 감성을 판단하기 위해 사용하는 감성 분석 데이터세트이다. - 25,000개 학습 데이터 (텍스트 및 레이블)- 25,000개 테스트 데이터 (텍스트 및 레이블)50,000개 데이터세트를 다운로드하고, 학습과 테스트를 위해 랜덤하게 1,000개씩 데이터를 추출하여 리스트 형식으로 저장하시오. torchtext는 Pytorch의 자연어 전처리용 라이브러리이다. 이를 이용하면 데이터를 얻을 수 있다. !pip install torchtext==0.15.2!pip install portalocker==2.7.0!pip install accelerate -U from torchtext.datasets import IMDBtrain_i.. 2024. 11. 23. 8장 연결리스트 (1) - 연결리스트란? (예제 - 회문 판별) 연결 리스트(Linked List)연결 리스트(Linked List)는 배열과 함께 대표적인 선형 자료구조로, 다양한 추상 자료형(ADT) 구현의 기반이 됩니다. 이 구조는 동적으로 새로운 노드를 삽입하거나 삭제하기가 용이하며, 물리 메모리를 연속적으로 사용하지 않아도 되므로 메모리 관리에도 유리합니다. 연결 리스트의 특징동적 메모리 관리: 물리적으로 연속적이지 않아도 되므로 메모리 활용도가 높습니다.삽입/삭제의 효율성: 시작 또는 끝에 데이터를 삽입하거나 삭제하는 작업은 O(1)에 가능합니다.탐색의 비효율성: 특정 인덱스에 접근하려면 순차적으로 읽어야 하므로 탐색 시간은 O(n)입니다. 문제. 연결 리스트로 Palindrome(회문) 검사하기- 입력: 1->2 / 출력: False- 입력: 1->2-.. 2024. 11. 22. 01장. 파이프라인 (감성 분석, 질의 응답 with DistilBERT) 문제2. 감성 분석 - DistilBert 모델 사용Distilbert 모델을 사용하여 감성 분석을 실행하는 문제이다. 다음 나열된 입력 문장들이 긍정인지 부정인지 판단하세요.(1) " I like Olympic games as it's very exciting." (나는 올림픽이 흥미진진하기 때문에 좋아합니다.)(2) " I'm against to hold Olympic games in Tokyo in terms of preventing the covid19 to be spread." (나는 코비드19 확산 방지 차원에서 도쿄 올림픽 개최를 반대합니다.) 문제2는 허깅 페이스의 transformers 라이브러리를 활용하여 DistilBERT 모델을 사용한 감성 분석을 수행한다.감성 분석은 텍스트에서 감.. 2024. 11. 21. 이전 1 2 다음 728x90 반응형
