728x90 반응형 llaml1 [논문리뷰] Code Llama: Open Foundation Models for Code 요약Llama 2를 기반으로 한 코드용 LLM 시리즈인 Code Llama를 제안Llama 2 70B 모델을 이용해 코딩 문제를 생성하고, Code Llama - Python 7B를 사용해 유닛 테스트와 솔루션을 생성하여 Self Instruct 데이터셋 생성Llama 2에서 사용된 로터리 포지션 임베딩(RoPE)의 회전 주파수($\theta$)를 조정하는 것이 긴 시퀀스를 안정적으로 학습시키는 데 중요함을 확인하였고, 파인 튜닝을 위해 회전 주파수를 10,000에서 1,000,000으로 증가 0. ABSTRACTCode Llama는 코드 작성에 특화된 Llama 2 기반의 대형 언어 모델 시리즈로, 공개된 모델 중 최고 성능을 제공하며 코드 완성 능력, 큰 입력 컨텍스트 지원, 프로그래밍 작업에 대한.. 2024. 10. 15. 이전 1 다음 728x90 반응형
