티스토리

JoJo's Study Blog

검색하기

블로그 홈

JoJo's Study Blog

wkddmswh99.tistory.com/m

조조링 님의 블로그입니다.

구독자: 8

방명록 방문하기

728x90

반응형

주요 글 목록

05장. MLM (문제 5장에서는 BERT, DistilBERT, ALBERT와 같은 모델을 활용하여 Hugging Face의 pipeline으로 [MASK] 토큰의 단어를 예측하는 방법과 각 모델의 특징을 소개한다. 이를 통해 MLM(Masked Language Model) 작업의 기본 사용법과 모델 간의 성능 차이를 이해할 수 있다. 문제24. BERT 로딩 MLM 파이프라인bert-base-uncased 모델을 사용해서 다음 [MASK] 토큰의 단어를 예측해보세요." MLM and NSP is the [MASK] task of BERT." BERT란?BERT(Bidirectional Encoder Representations from Transformers)는 Google에서 개발한 사전학습 언어 모델로, 양방향 학습을.. 공감수 2 댓글수 0 2024. 11. 28.
04장. GPT를 활용한 작문 (문제17-23) 4장에서는 Hugging Face의 다양한 GPT 모델을 다루는 방법을 배우고 학습 예제를 제공한다. 각 모델의 특징과 활용 사례를 살펴보며, 이를 활용한 작문과 자연어 처리 기법을 배울 수 있다. 문제17. GPT-Neo 작문 환경 설정허깅페이스 모델 헙(hub)에는 Eleuther AI/gpt-neo repository에 의해 공개된 사전학습 모델인 Eleuther AI/gpt-neo-1.3B 모델이 있습니다. 이는 GPT2 혹은 GPT3의 오픈소스 버전입니다. 이를 사용하기 위해 관련 라이브러리인 트랜스포머스와 sentencepiece를 설치하라. 그리고 모델과 토크나이저를 불러오세요. GPT-Neo란?GPT-Neo는 EleutherAI에서 개발한 오픈소스 언어 모델로, GPT-2 및 GPT-.. 공감수 4 댓글수 2 2024. 11. 27.
02장. DistilBERT 파인튜닝 및 평가 (문제12~13) 문제12. Trainer 클래스 사전학습문제4부터 11까지의 과정에 기반한 Trainer클래스를 인스턴스화하고 파인튜닝하세요. 키워드 인수로 model, args, train_dataset, eval_dataset을 명확하게 전달하세요. 그리고 파인튜닝 전후에 다음 세 문장 각각의 극성 판별 결과를 비교하세요.1. "I feel fantastic"2. "My life is going something wrong"3. "I have not figured out what the chosen title has to do with the movie" 먼저 파인튜닝 전에 세 문장의 극성 판별 결과는 다음과 같다.여기서 파인튜닝을 하지 않은 모델이 두,세 번째 입력 문장 극성을 잘못 판정하고 있음에 유의하자. #.. 공감수 2 댓글수 0 2024. 11. 26.
5장. 정렬(1) - 퀵정렬이란? 퀵 정렬피벗을 기준으로 좌우를 나누는 특징 때문에 파티션 교환 정렬이라고도 불린다.병렬 정렬과 마찬가리고 분할 정복 알고리즘피벗이라는 개념을 통해 피벗보다 작으면 왼쪽, 크면 오른쪽과 같은 방식으로 파티셔닝하면서 쪼개 나간다.이 중에서도 로무토 파티션이란 항상 맨 오른쪽의 피벗을 택하는 단순한 방식으로, 토니 호어가 고안한 최초의 퀵 정렬 알고리즘보다 훨씬 더 간결하고 이해하기 쉽기 때문에 퀵 정렬 소개 시 항상 맨 처음에 언급됨 퀵 정렬 수도코드Quicksort(A, lo, hi) if lo 기본 조건 확인: Quicksort(A, lo, hi)는 lo 피벗 분할:partition(A, lo, hi) 함수는 A[lo]부터 A[hi]까지의 구간에서 피벗을 기준으로 요소들을 나눈다.이 함수는 피벗 위치를.. 공감수 1 댓글수 0 2024. 11. 25.
02장. DistilBERT 파인튜닝 및 평가 (문제8~11) 문제8. 데이터세트 클래스 생성Torch.utils.data.Dataset을 상속하는 IMDbFDataset이라는 클래스를 작성하세요. 그리고 문제 7의 IMDB 데이터세트에서 생성한 학습, 검증, 테스트 데이터세트를 입력해서 이 클래스를 인스턴스화합니다. 클래스 및 인스턴스화 개념은 문제2를 참고하세요. 상속이란? 클래스를 생성할 때 다른 클래스의 기능을 가져다 쓰는 것을 상속이라고 합니다. 예를 들어 20층 건물을 지을 때, 타 고층 빌딩의 설계도를 참고하면 도움이 됩니다. 엘리베이터 기능, 공조 기능, 지진 설계 등을 빌려와 쓸 수 있다면 시간과 노력이 절감됩니다. 즉, 객체 A를 짓는 설계도 클래스의 기능을 물려받아 객체 B를 짓는 설계도 클래스에서 그대로 사용한다는 개념이 바로 상속입니다. .. 공감수 1 댓글수 0 2024. 11. 24.
02장. DistilBERT 파인튜닝 및 평가 (문제4~7) 문제4. IMDB 데이터세트IMDB 데이터세트는 영화 리뷰 코멘트의 긍정/부정 감성을 판단하기 위해 사용하는 감성 분석 데이터세트이다. - 25,000개 학습 데이터 (텍스트 및 레이블)- 25,000개 테스트 데이터 (텍스트 및 레이블)50,000개 데이터세트를 다운로드하고, 학습과 테스트를 위해 랜덤하게 1,000개씩 데이터를 추출하여 리스트 형식으로 저장하시오. torchtext는 Pytorch의 자연어 전처리용 라이브러리이다. 이를 이용하면 데이터를 얻을 수 있다. !pip install torchtext==0.15.2!pip install portalocker==2.7.0!pip install accelerate -U from torchtext.datasets import IMDBtrain_i.. 공감수 0 댓글수 1 2024. 11. 23.
8장 연결리스트 (1) - 연결리스트란? (예제 - 회문 판별) 연결 리스트(Linked List)연결 리스트(Linked List)는 배열과 함께 대표적인 선형 자료구조로, 다양한 추상 자료형(ADT) 구현의 기반이 됩니다. 이 구조는 동적으로 새로운 노드를 삽입하거나 삭제하기가 용이하며, 물리 메모리를 연속적으로 사용하지 않아도 되므로 메모리 관리에도 유리합니다. 연결 리스트의 특징동적 메모리 관리: 물리적으로 연속적이지 않아도 되므로 메모리 활용도가 높습니다.삽입/삭제의 효율성: 시작 또는 끝에 데이터를 삽입하거나 삭제하는 작업은 O(1)에 가능합니다.탐색의 비효율성: 특정 인덱스에 접근하려면 순차적으로 읽어야 하므로 탐색 시간은 O(n)입니다. 문제. 연결 리스트로 Palindrome(회문) 검사하기- 입력: 1->2 / 출력: False- 입력: 1->2-.. 공감수 0 댓글수 0 2024. 11. 22.
01장. 파이프라인 (감성 분석, 질의 응답 with DistilBERT) 문제2. 감성 분석 - DistilBert 모델 사용Distilbert 모델을 사용하여 감성 분석을 실행하는 문제이다. 다음 나열된 입력 문장들이 긍정인지 부정인지 판단하세요.(1) " I like Olympic games as it's very exciting." (나는 올림픽이 흥미진진하기 때문에 좋아합니다.)(2) " I'm against to hold Olympic games in Tokyo in terms of preventing the covid19 to be spread." (나는 코비드19 확산 방지 차원에서 도쿄 올림픽 개최를 반대합니다.) 문제2는 허깅 페이스의 transformers 라이브러리를 활용하여 DistilBERT 모델을 사용한 감성 분석을 수행한다.감성 분석은 텍스트에서 감.. 공감수 0 댓글수 0 2024. 11. 21.
9장 스택,큐(3) - 스택이란? (예제-일일 온도) 매일의 화씨 온도 리스트 T를 입력 받아서, 더 따뜻한 날씨를 위해서는 며칠을 더 기다려야 하는지를 출력하라.입력: T = [73, 74, 75, 71, 69, 72, 76, 73]출력: [1,1,4,2,1,1,0,0] def dailyTemperatures(T: list[int]) -> list[int]: answer = [0] * len(T) # 결과를 저장할 리스트, 초기값은 0 stack = [] # 인덱스를 저장하는 스택 for i, cur in enumerate(T): # 인덱스(i)와 현재 온도(cur)를 함께 순회 # 스택이 비어 있지 않고, 현재 온도가 스택의 마지막 인덱스에 해당하는 온도보다 높다면 while stack and cur.. 공감수 1 댓글수 0 2024. 11. 20.
9장 스택,큐(2) - 스택이란? (예제-중복문자제거) 중복된 문자를 제외하고 사전식 순서로 나열하라입력: "bcabc" / 출력: "abc"입력: "cbacdcbc" / 출력: "acdb" 풀이. 스택을 이용한 문자 제거import collectionsdef removeDuplicateLetters(s: str) -> str: counter, seen, stack = collections.Counter(s), set(), [] for char in s: counter[char] -= 1 # 현재 문자의 개수를 하나 줄임 if char in seen: # 이미 스택에 추가된 문자라면 건너뜀 continue # 스택에서 문자를 제거할 조건: .. 공감수 0 댓글수 0 2024. 11. 19.
9장 스택,큐(1) - 스택이란? (예제-유효한 괄호) 스택(Stack)과 연결 리스트를 활용한 ADT 구현 및 유효한 괄호 문제 풀이스택(Stack)은 LIFO(Last In, First Out) 구조를 가지는 대표적인 자료구조이다. 이는 가장 나중에 들어간 데이터가 가장 먼저 나오는 구조로, 다음 두 가지 주요 연산을 지원한다.push(item): 스택의 맨 위에 데이터를 추가하는 연산pop(): 스택의 맨 위 데이터를 제거하고 반환하는 연산 1. 연결 리스트를 활용한 스택 ADT 구현스택은 배열 또는 연결 리스트를 이용하여 구현할 수 있다. 여기서는 연결 리스트를 활용한 스택 구현 방식을 살펴보려고 한다. 연결 리스트 기반 스택 구현 코드# 연결 리스트의 노드를 나타내는 클래스class Node: def __init__(self, item, ne.. 공감수 0 댓글수 2 2024. 11. 18.
빅오(Big-O) 표기법 정리 빅오(Big-O) 표기법과 알고리즘 효율성 분석빅오(Big-O)는 알고리즘의 성능을 분석하고 효율성을 평가하기 위한 수학적 표기법으로, 입력값이 커질 때 실행 시간(시간 복잡도)과 함께 공간 요구 사항(공간 복잡도)이 어떻게 증가하는지를 표현한다.이를 통해 알고리즘이 대규모 데이터에서도 얼마나 효율적으로 작동하는지, 성능의 상한선을 분석할 수 있다. 빅오란?빅오 표기법은 입력값이 무한대로 향할 때 함수의 상한을 설명하는 수학적 표기 방법이다.이 표기법은 가장 최악의 경우(worst-case)를 기준으로 알고리즘의 성능을 표현하며, 알고리즘의 성장률을 이해하는 데 유용하다.이를 통해 입력 데이터 크기(n)가 증가함에 따라 실행 시간 또는 메모리 사용량이 어떤 식으로 변할지 예측할 수 있다. 빅오 표기법.. 공감수 3 댓글수 3 2024. 11. 17.
[프로그래머스-해시] 완주하지 못한 선수 문제수많은 마라톤 선수들이 마라톤에 참여하였습니다. 단 한 명의 선수를 제외하고는 모든 선수가 마라톤을 완주하였습니다.마라톤에 참여한 선수들의 이름이 담긴 배열 participant와 완주한 선수들의 이름이 담긴 배열 completion이 주어질 때, 완주하지 못한 선수의 이름을 return 하도록 solution 함수를 작성해주세요. 제한 사항마라톤 경기에 참여한 선수의 수는 1명 이상 100,000명 이하입니다.completion의 길이는 participant의 길이보다 1 작습니다.참가자의 이름은 1개 이상 20개 이하의 알파벳 소문자로 이루어져 있습니다.참가자 중에는 동명이인이 있을 수 있습니다. 입출력 예 풀이1. 정렬과 zip을 활용한 미완주자 찾기def solution(participant.. 공감수 1 댓글수 2 2024. 11. 16.
[파이썬] sort vs sorted sort: 리스트 객체의 메서드이며, 원본을 변경하여 정렬한다.sorted: 모든 iterable에 사용할 수 있는 함수로, 정렬된 새로운 리스트를 반환하며 원본 객체는 유지된다. sortsort는 리스트 객체에서만 사용할 수 있는 메서드로, 리스트 자체를 정렬한다. 이 메서드는 원본 리스트를 직접 변경하므로, 정렬된 새 리스트를 반환하지 않는다. 주요 파라미터key: 정렬 기준을 설정. 기본값은 None이며, 각 요소가 자체 값에 따라 정렬된다.reverse: 정렬 순서를 지정. 기본값은 False로 오름차순으로 정렬되며, True로 설정하면 내림차순# 예시numbers = [5, 2, 9, 1]numbers.sort()print(numbers) # 결과: [1, 2, 5, 9] sortedsort.. 공감수 3 댓글수 4 2024. 11. 15.
[프로그래머스-해시] 전화번호 목록 문제전화번호부에 적힌 전화번호 중, 한 번호가 다른 번호의 접두어인 경우가 있는지 확인하려 합니다.전화번호가 다음과 같을 경우, 구조대 전화번호는 영석이의 전화번호의 접두사입니다.구조대 : 119박준영 : 97 674 223지영석 : 11 9552 4421전화번호부에 적힌 전화번호를 담은 배열 phone_book 이 solution 함수의 매개변수로 주어질 때, 어떤 번호가 다른 번호의 접두어인 경우가 있으면 false를 그렇지 않으면 true를 return 하도록 solution 함수를 작성해주세요. 제한 사항phone_book의 길이는 1 이상 1,000,000 이하입니다.각 전화번호의 길이는 1 이상 20 이하입니다.같은 전화번호가 중복해서 들어있지 않습니다. 입출력 예 풀이1. 시간 초과 def.. 공감수 1 댓글수 2 2024. 11. 14.
[프로그래머스-해시] 베스트앨범 문제스트리밍 사이트에서 장르 별로 가장 많이 재생된 노래를 두 개씩 모아 베스트 앨범을 출시하려 합니다. 노래는 고유 번호로 구분하며, 노래를 수록하는 기준은 다음과 같습니다.속한 노래가 많이 재생된 장르를 먼저 수록합니다.장르 내에서 많이 재생된 노래를 먼저 수록합니다.장르 내에서 재생 횟수가 같은 노래 중에서는 고유 번호가 낮은 노래를 먼저 수록합니다.노래의 장르를 나타내는 문자열 배열 genres와 노래별 재생 횟수를 나타내는 정수 배열 plays가 주어질 때, 베스트 앨범에 들어갈 노래의 고유 번호를 순서대로 return 하도록 solution 함수를 완성하세요. 제한 사항genres[i]는 고유번호가 i인 노래의 장르입니다.plays[i]는 고유번호가 i인 노래가 재생된 횟수입니다.genres와.. 공감수 1 댓글수 1 2024. 11. 13.
[프로그래머스-해시] 폰켓몬 문제 풀이 문제당신은 폰켓몬을 잡기 위한 오랜 여행 끝에, 홍 박사님의 연구실에 도착했습니다. 홍 박사님은 당신에게 자신의 연구실에 있는 총 N 마리의 폰켓몬 중에서 N/2마리를 가져가도 좋다고 했습니다.홍 박사님 연구실의 폰켓몬은 종류에 따라 번호를 붙여 구분합니다. 따라서 같은 종류의 폰켓몬은 같은 번호를 가지고 있습니다. 예를 들어 연구실에 총 4마리의 폰켓몬이 있고, 각 폰켓몬의 종류 번호가 [3번, 1번, 2번, 3번]이라면 이는 3번 폰켓몬 두 마리, 1번 폰켓몬 한 마리, 2번 폰켓몬 한 마리가 있음을 나타냅니다. 이때, 4마리의 폰켓몬 중 2마리를 고르는 방법은 다음과 같이 6가지가 있습니다.첫 번째(3번), 두 번째(1번) 폰켓몬을 선택첫 번째(3번), 세 번째(2번) 폰켓몬을 선택첫 번째(3번),.. 공감수 5 댓글수 4 2024. 11. 12.
[Python] zip()함수와 * 활용 zip() 함수zip() 함수는 2개 이상의 시퀀스(리스트, 튜플 등)를 짧은 길이를 기준으로 일대일 대응하는 새로운 튜플 시퀀스를 만든다.a = [1,2,3,4,5]b = [2,3,4,5]c = [3,4,5]zip(a,b) # 결과: list(zip(a,b))# 결과: [(1, 2), (2, 3), (3, 4), (4, 5)]list(zip(a,b,c))# 결과: [(1, 2, 3), (2, 3, 4), (3, 4, 5)]파이썬 3+에서는 zip() 함수가 제너레이터를 반환하므로, 결과를 바로 보려면 list()로 묶어야 한다.zip() 함수는 리스트가 아닌 튜플로 시퀀스를 생성하므로, 값을 변경할 수 없는 불변 객체이다. d = list(zip(a,b,c))d[0] # (1,2,3)d[0][0] .. 공감수 2 댓글수 0 2024. 11. 11.
11장. 해시 테이블(6) - 예제(상위 K빈도 요소) 상위 k번 이상 등장하는 요소를 추출하라입력: num = [1,1,1,2,2,3] , k=2출력: [1,2] 풀이1. Counter와 우선순위 큐(힙)를 활용한 방법[해결 아이디어]collections.Counter를 사용해 각 요소의 빈도 수를 구하고, 상위 k개를 heapq 모듈의 힙을 이용해 추출한다. 파이썬에서 힙은 최소 힙만 지원하므로, 빈도를 음수로 변환하여 가장 큰 빈도부터 추출할 수 있도록 만든다.[단계별 풀이] 1. 빈도 계산: Counter로 요소별 빈도를 계산import collectionsnum = [1,1,1,2,2,3]freqs = collections.Counter(num) # 결과: # Counter({1: 3, 2: 2, 3: 1}) 2. 힙에 삽입: 각 요소의 빈도 .. 공감수 1 댓글수 1 2024. 11. 10.
11장. 해시 테이블(5) - 예제(중복 문자 없는 가장 긴 부분 문자열) 중복 문자가 없는 가장 긴 부분 문자열의 길이를 리턴한다.입력: "abcabcbb"출력: 3입력: "pwwkew"출력: 3 풀이1. 슬라이딩 윈도우와 투 포인터로 사이즈 조절이 문제는 "슬라이딩 윈도우"와 "두 포인터" 기법을 사용하여 해결할 수 있다.슬라이딩 윈도우는 문자열의 특정 구간을 반복적으로 이동하면서 중복 없이 가장 긴 구간을 찾는 방법이다. 1. 슬라이딩 윈도우와 두 포인터의 역할윈도우: 문자열에서 중복 없는 구간을 나타낸다.두 포인터 (start와 index): start는 현재 윈도우의 시작 위치, index는 현재 문자의 위치를 나타낸다.이 방법은 두 포인터를 이용해 윈도우의 크기를 조절하며 중복이 생길 때마다 시작 위치를 업데이트하는 방식으로 작동한다. 예시를 통해 이해하기입력: ".. 공감수 1 댓글수 0 2024. 11. 9.
11장. 해시 테이블(4) - 예제(보석과 돌) 문제. 보석과 돌J는 보석이며, S는 갖고 있는 돌이다. S에는 보석이 몇 개나 있을까? 이때, 대소문자는 구분한다. 입력: J ="aA", S = "aAAbbbb"출력: 3 풀이1. 해시 테이블을 이용한 풀이이 문제는 S의 각 문자 빈도를 해시 테이블로 계산한 후, J의 각 문자에 해당하는 빈도 수를 더하는 방식으로 해결할 수 있다. S = "aAAbbbb"freqs = {}for char in S: if char not in freqs: freqs[char] = 1 else: freqs[char] +=1 freqs # {'a': 1, 'A': 2, 'b': 4} S의 각 문자가 몇 번씩 등장하는지 세기 위해 해시 테이블을 생성한다.S의 문자를 순.. 공감수 1 댓글수 1 2024. 11. 8.
[Day5/30] 초보자를 위한 SQL 200제 1. 숫자를 버리고 출력하기 (TRUNC)876.567 숫자를 출력하는데 소수점 두 번째 자리인 6과 그 이후의 숫자들을 모두 버리고 출력SELECT '876.567' as 숫자, TRUNC(876.567,1), TRUNC(876.567,-1) FROM dual; TRUNC(N,1): 소수점 두 번째 자리부터 버림TRUNC(N,-1): 소수점 이전 일의 자리부터 바로 버리고 출력 2. 나눈 나머지 값 출력하기 (MOD)숫자 10을 3으로 나눈 나머지 값이 어떻게 되는지 출력SELECT MOD(10,3) FROM dual; 사원 번호와 사원 번호가 홀수이면 1, 짝수이면 0을 출력 SELECT empno, MOD(empno,2) FROM emp; 사원 번호가 짝수인 사원들의 사원 번호와 이름을.. 공감수 2 댓글수 3 2024. 11. 7.
11장. 해시 테이블 (3) - 충돌 처리 방식 (개별 체이닝 파이썬 구현) 다음의 기능을 제공하는 해시맵을 디자인하라.- put(key, value): 키, 값을 해시맵에 삽입한다. 만약 이미 존재하는 키라면 업데이트한다. - get(key, value): 키에 해당하는 값을 조회한다. 만약 키가 존재하지 않는다면 -1을 리턴한다.- remove(key, value): 키에 해당하는 키, 값을 해시맵에서 삭제한다. 풀이1. 개별 체이닝 방식을 이용한 해시 테이블 구현 우리가 구현할 MyHashMap 클래스의 전체 메소드는 아래와 같다.초기화 __init__()삽입 put()조회 get()삭제 remove()class MyHashMap: def __init__(self): def put(self, key:int, value: int) -> None: .. 공감수 0 댓글수 2 2024. 11. 4.
11장. 해시 테이블 (2) - 충돌 처리 방식 (개별 체이닝, 오픈 어드레싱) 파이썬 딕셔너리는 해시 테이블을 기반으로 한 자료형으로, 충돌 해결을 위해 오픈 어드레싱 방식을 사용합니다. 이를 통해 메모리 할당 오버헤드를 줄이고, 성능 저하를 막기 위해 로드 팩터를 낮게 설정하여 최적화를 이루고 있습니다. 충돌 (Collision)해시 함수가 아무리 좋아도 충돌(Collision)은 피할 수 없습니다.예를 들어, 그림 1에서 윤아와 서현의 해시 값이 모두 2로 같아 충돌이 발생했습니다.이렇게 충돌이 발생했을 때는 어떤 방법으로 이를 처리할 수 있을까요?우선 개별 체이닝(Separate Chaining) 방식을 살펴보겠습니다. 1. 개별 체이닝 (Separate Chaining)우선, 입력 데이터는 아래의 표와 같이 구성되었습니다.해시는 키를 해싱한 결과 값이며, 윤아와 서현의 .. 공감수 1 댓글수 0 2024. 11. 1.
[Day4/30] 초보자를 위한 SQL 200제 이 카테고리는 정보문화사의 "초보자를 위한 SQL 200제" 30일 코스를 학습 하면서 실습한 내용입니다. 1. 대소문자 변환 함수 배우기 (UPPER, LOWER, INITCAP)사원 테이블의 이름을 출력하는데, 첫 번째 컬럼은 이름을 대문자로, 두 번째 컬럼은 소문자로 출력하고, 세 번째 컬럼은 이름의 첫 번째 철자는 대문자로 하고 나머지는 소문자로 출력 SELECT UPPER(ename), LOWER(ename), INITCAP(ename) FROM emp UPPER: 대문자로 출력LOWER: 소문자로 출력INITCAP: 첫 번째 철자만 대문자로 출력, 나머지는 소문자로 출력UPPER, LOWER 함수는 테이블 내 특정 문자 데이터를 검색하고자 할 때 데이터가 대문자인지 소문자로 저장되어 .. 공감수 1 댓글수 2 2024. 10. 29.
11장. 해시 테이블 (1) - 해시 함수의 이해 해시 테이블 또는 해시 맵은 키를 값에 매핑할 수 있는 구조인, 연관 배열 추상 자료형을 구현하는 자료구조이다. 가장 큰 특징은 대부분의 연산이 분할 상환 분석에 따른 시간 복잡도가 O(1)이라는 점이다. 해시 함수와 해싱의 이해해시 함수는 임의의 크기를 가진 데이터를 고정된 크기 값으로 변환하는 함수입니다.예를 들어, 아래와 같이 다양한 길이의 문자열을 고정된 크기의 해시 값으로 매핑할 수 있습니다:ABC -> A112321F -> B1FSR4 -> C3이처럼 입력값을 특정한 값으로 변환하는 역할을 하는 함수를 해시 함수라 합니다.이러한 해시 함수의 결과를 사용해 해시 테이블을 인덱싱하고 데이터를 빠르게 저장하고 검색하는 기법을 해싱이라고 합니다.해싱은 특히 최적의 검색 성능이 .. 공감수 1 댓글수 1 2024. 10. 29.
[Day3/30] 초보자를 위한 SQL 200제 이 카테고리는 정보문화사의 "초보자를 위한 SQL 200제" 30일 코스를 학습 하면서 실습한 내용입니다. 1. 비교 연산자 배우기 3 - LIKE이름의 첫 글자가 S로 시작하는 사원들의 이름과 월급 출력SELECT ename, sal FROM emp WHERE ename LIKE 'S%';%는 와일드 카드 - 와일드 카드는 이 자리에 어떠한 철자가 와도 상관없고 철자의 개수가 몇 개가 되든 관계없다는 뜻이다.즉, WHERE ename LIKE ‘S%’는 첫 번째 철자가 S이고, 두 번째 철자가 %인 데이터를 검색하겠다는 뜻%가 특수문자 퍼센트가 아니라 와일드 카드로 사용되려면 이퀄 연산자(=)가 아닌 LIKE 연산자를 사용해야 함 이름의 두 번째 철자가 M인 사원의 이름을 출력S.. 공감수 1 댓글수 0 2024. 10. 25.
[인프런 강의] 3.5 Retrieval 효율 개선을 위한 데이터 전처리 1. 문제 상황: 기대한 답변을 얻지 못함 이전 실습에서 "연봉 5천만 원인 직장인의 소득세는 얼마인가요?" 라는 질문을 했지만, GPT는 구체적인 소득세율을 제공하지 않고, 세법에 대한 일반적인 설명만을 반환했습니다.from langchain_openai import ChatOpenAIfrom langchain import hubfrom langchain.chains import RetrievalQAllm = ChatOpenAI(model='gpt-4o')prompt = hub.pull("rlm/rag-prompt")qa_chain = RetrievalQA.from_chain_type( llm, retriever = database.as_retriever(), chain_type_kwa.. 공감수 2 댓글수 0 2024. 10. 22.
[인프런 강의] 3.3 LangChain과 Pinecone를 활용한 RAG 구성 이 내용은 인프런의 "RAG를 활용한 LLM Application 개발 (feat. LangChain)[링크]" 강의 기반으로 GPT4o을 이용해서 정리한 내용입니다. 이전 글에서 Chroma를 사용했던 코드를 Pinecone으로 전환한 과정을 간단히 소개하려고 합니다. Pinecone은 문서 검색과 벡터 저장소를 위한 강력한 툴로, 대규모 데이터셋에서도 빠르고 효율적인 검색이 가능합니다. 특히, 문서를 잘게 쪼개고 임베딩하는 과정을 거쳐 쿼리와 유사한 문서를 신속하게 찾는 데 용이합니다. 1. 패키지 설치필요한 패키지를 먼저 설치합니다. Pinecone과 관련된 langchain-pinecone 패키지를 사용했습니다.%pip install -qU langchain-pinecone pinecone-no.. 공감수 2 댓글수 0 2024. 10. 22.
[프로그래머스 LV2 Python] 의상 문제코니는 매일 다른 옷을 조합하여 입는것을 좋아합니다.예를 들어 코니가 가진 옷이 아래와 같고, 오늘 코니가 동그란 안경, 긴 코트, 파란색 티셔츠를 입었다면 다음날은 청바지를 추가로 입거나 동그란 안경 대신 검정 선글라스를 착용하거나 해야합니다.종류이름코니는 각 종류별로 최대 1가지 의상만 착용할 수 있습니다. 예를 들어 위 예시의 경우 동그란 안경과 검정 선글라스를 동시에 착용할 수는 없습니다.착용한 의상의 일부가 겹치더라도, 다른 의상이 겹치지 않거나, 혹은 의상을 추가로 더 착용한 경우에는 서로 다른 방법으로 옷을 착용한 것으로 계산합니다.코니는 하루에 최소 한 개의 의상은 입습니다.코니가 가진 의상들이 담긴 2차원 배열 clothes가 주어질 때 서로 다른 옷의 조합의 수를 return 하도록.. 공감수 1 댓글수 2 2024. 10. 18.

728x90

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.