RAG의 배경

Background할루시네이션할루시네이션은 모델이 잘못된 정보를 자신감 있게 제시최신 정보의 반영 안됨대규모 언어 모델의 학습 과정이 복잡, 시간과 리소스가 많이 소요됨모델의 지식은 학습 데이터의 컷오프 날짜에 제한, 실시간 업데이트의 어려움으로 최신 정보 반영 지연도메인 특화일반적인 LLM은 광범위한 지식을 다루지만, 특정 기업이나 조직의 고유한 정보는 포함하지 않음기업 특화 정보를 활용하기 위해서는 추가적인 파인튜닝이나 맞춤형 학습이 필요지식의 불분명한 출처LLM은 학습 데이터에서 얻은 정보를 종합하여 답변을 생성하므로, 특정 정보의 정확한 출처를 제시하기 어려움 What is RAG?Retrieval(검색) - Augmented(증강) - Generation(생성)기존의 LLM 답변 생성하는 과정에..

• format_list_bulleted AI
• · 2024. 10. 25.
• textsms

Terraform을 이용한 AWS Bedrock으로 Claude 3.5-Sonnet 서빙 해보기

최근 인공지능(AI) 모델을 활용한 서비스가 늘어나면서, 이를 효과적으로 배포하고 관리할 수 있는 인프라가 중요해지고 있다.특히 AWS Bedrock을 활용한 AI 모델 서빙은 매우 유용한 방식이다.이 글에서는 Terraform을 사용하여 AWS API Gateway와 Lambda를 통해 AWS Bedrock의 Claude 3.5 모델을 서빙하는 아키텍처를 구축하는 방법을 설명한다. 1. 아키텍처AWS에서 AI 모델을 서빙하는 인프라는 다양한 구성 요소들이 협력하여 동작한다. 이번 프로젝트에서는 AWS API Gateway, Lambda, 그리고 AWS Bedrock Claude 3.5 모델을 사용하여 AI 서빙 시스템을 구축한다. 아래는 해당 아키텍처의 주요 구성 요소이다.API Gateway: 외부에..

• format_list_bulleted Terraform
• · 2024. 10. 23.
• textsms

GPU 메모리 계산과 Can it Run LLM? 도구 활용 가이드

최근 대규모 언어 모델(LLM)이 점점 더 중요한 역할을 하고 있다.이러한 모델을 실행하려면 고성능 GPU가 필요하고, GPU 메모리 요구량을 정확히 계산하는 것이 필수적이다.이 글에서는 GPU 메모리 계산식을 통해 메모리 요구량을 예측하는 방법을 소개하고, Can it Run LLM?이라는 유용한 도구를 활용해 자신이 보유한 하드웨어가 모델을 실행할 수 있는지 빠르게 판단하는 방법을 설명한다. 1. GPU 메모리 계산식LLM과 같은 대규모 모델을 GPU에서 실행할 때, 모델의 파라미터 수와 비트 수에 따라 GPU 메모리 소비량이 달라진다. 아래는 모델의 메모리 요구량을 계산하는 기본적인 공식이다.M: 기가바이트(GB) 단위의 GPU 메모리 요구량P: 모델 파라미터 수 (수십억 개가 될 수 있음)4B: ..

• format_list_bulleted AI
• · 2024. 10. 13.
• textsms

Locust를 활용한 IBM watsonx.ai LLM 응답 부하 테스트

Locust는 부하 테스트를 설정하고 실행하기에 매우 유용한 도구다.Locust를 활용하면 다양한 시스템과 API에 대해 동시성 테스트를 손쉽게 진행할 수 있으며, 웹 기반 UI를 통해 실시간 성능 모니터링도 가능하다. 이번 테스트에서는 IBM watsonx.ai의 Llama 3.1-8b-instruct 모델을 사용해, 여러 사용자가 동시에 API 요청을 보냈을 때 시스템의 응답 성능을 측정했다. 1. Locust 스크립트 작성Locust의 테스트는 Python 스크립트로 작성되며, 가상의 사용자(User)와 이들이 수행할 작업(Task)을 정의한다.이를 통해 다수의 사용자가 어떻게 시스템에 접근하고, 얼마나 많은 요청을 보내는지를 시뮬레이션할 수 있다.1.1. HttpUser 클래스Locust에서 모든..

• format_list_bulleted AI
• · 2024. 10. 13.
• textsms

KoAlpaca 데이터셋을 활용한 Llama 3.1 LoRA 기반 PEFT

Llama 3.1 모델을 LoRA(Low-Rank Adaptation) 기법을 사용해 한국어 데이터셋인 KoAlpaca를 기반으로 Parameter Efficient Fine-Tuning 하는 과정을 다룬다.LoRA는 대규모 언어 모델을 적은 자원으로도 효율적으로 학습할 수 있도록 돕는 PEFT의 한 기법이다. 1. 환경 설정먼저, 모델을 학습하거나 미세 조정하기 위해 필요한 라이브러리를 설치한다.!pip install accelerate # 모델 학습 속도 향상!pip install peft # LoRA를 포함한 효율적 미세 조정!pip install bitsandbytes # 양자화 기술을 통한 메모리 최적화!pip install transformers # 트랜스포머 기반 모델 라이브러..

• format_list_bulleted AI
• · 2024. 10. 7.
• textsms

PEFT: Parameter-Efficient Fine-Tuning

PEFT(Parameter-Efficient Fine-Tuning)는 대규모 사전 학습된 모델을 조금만 수정해서 특정 작업에 적합하도록 만드는 기법이다.요즘 AI 모델은 매우 크고 복잡해서, 모든 파라미터를 다시 학습하는 것은 시간과 자원이 너무 많이 들기 때문에, PEFT는 전체 모델을 다시 학습하지 않고, 필요한 부분만 효율적으로 조정하는 것을 목표로 한다. PEFT에는 여러 가지 기법이 있는데, 여기서는 대표적인 Adapter, LoRA, Prefix Tuning, Prompt Tuning에 대해 알아볼 것이다. 추가적으로, 나는 예시를 들어 이해하는 것이 편리했기 때문에, 예시 문구도 함께 추가했다.PEFT1. AdapterAdapter는 사전 학습된 모델의 각 층에 작은 모듈을 추가하는 방식이다..

• format_list_bulleted AI
• · 2024. 9. 10.
• textsms