728x90 반응형 강의 및 실습 정리/LLM 강의4 [인프런 강의] 3.5 Retrieval 효율 개선을 위한 데이터 전처리 1. 문제 상황: 기대한 답변을 얻지 못함 이전 실습에서 "연봉 5천만 원인 직장인의 소득세는 얼마인가요?" 라는 질문을 했지만, GPT는 구체적인 소득세율을 제공하지 않고, 세법에 대한 일반적인 설명만을 반환했습니다.from langchain_openai import ChatOpenAIfrom langchain import hubfrom langchain.chains import RetrievalQAllm = ChatOpenAI(model='gpt-4o')prompt = hub.pull("rlm/rag-prompt")qa_chain = RetrievalQA.from_chain_type( llm, retriever = database.as_retriever(), chain_type_kwa.. 2024. 10. 22. [인프런 강의] 3.3 LangChain과 Pinecone를 활용한 RAG 구성 이 내용은 인프런의 "RAG를 활용한 LLM Application 개발 (feat. LangChain)[링크]" 강의 기반으로 GPT4o을 이용해서 정리한 내용입니다. 이전 글에서 Chroma를 사용했던 코드를 Pinecone으로 전환한 과정을 간단히 소개하려고 합니다. Pinecone은 문서 검색과 벡터 저장소를 위한 강력한 툴로, 대규모 데이터셋에서도 빠르고 효율적인 검색이 가능합니다. 특히, 문서를 잘게 쪼개고 임베딩하는 과정을 거쳐 쿼리와 유사한 문서를 신속하게 찾는 데 용이합니다. 1. 패키지 설치필요한 패키지를 먼저 설치합니다. Pinecone과 관련된 langchain-pinecone 패키지를 사용했습니다.%pip install -qU langchain-pinecone pinecone-no.. 2024. 10. 22. [인프런 강의] 3.2 LangChain과 Chroma를 활용한 RAG 구성 이 내용은 인프런의 "RAG를 활용한 LLM Application 개발 (feat. LangChain)[링크]" 강의 기반으로 GPT4o을 이용해서 정리한 내용입니다. 실습은 소득세법 파일(tax.docx)을 대상으로 진행합니다. 1. 문서 읽기문서는 리스트 형태로 저장되며, 이를 쪼개서 사용해야 합니다.from langchain_community.document_loaders import Docx2txtLoaderloader = Docx2txtLoader("tax.docx")document = loader.load() 2. 문서 쪼개기주로 사용하는 함수는 RecursiveCharacterTextSplitter()와 CharacterTextSplitter()입니다.RecursiveCharacter.. 2024. 10. 17. [인프런 강의] 3.1 환경 설정과 LangChain의 ChatOpenAI를 활용한 검증 이 내용은 인프런의 "RAG를 활용한 LLM Application 개발 (feat. LangChain)[링크]" 강의 기반으로 GPT4o을 이용해서 정리한 내용입니다. 1. 가상환경 만들기mkdir inflearn-llm-applicationcd inflearn-llm-applicationconda create -n inflearn-llm-application python=3.10conda activate inflearn-llm-application 2. OpenAI API 발급.env 파일을 만든 후, 다음과 같이 OpenAI API 키를 입력하고 저장합니다.OPENAI_API_KEY=발급받은_API_키 3. LangChain 설치pip install langchain-openai python-do.. 2024. 10. 17. 이전 1 다음 728x90 반응형
