vLLM과 Ollama 비교

AI 애플리케이션을 개발할 때, LLM(Large Language Model)의 성능과 활용도를 고려해야 한다.최근 경량 LLM 프레임워크로 주목받는 vLLM과 Ollama는 각기 다른 장점을 가지고 있어 사용 목적에 따라 적절한 선택이 필요하다.이를 비교하여 어떤 환경에서 어떤 프레임워크를 선택하는 것이 적합한지 살펴본다.vLLM과 Ollama란?vLLM SKYPILOT에서 개발한 GPU 기반 LLM 추론 최적화 프레임워크이다. 빠른 토큰 생성과 효율적인 메모리 관리가 특징이며, 대규모 AI 애플리케이션에 적합하다. PagedAttention 기술을 활용해 메모리를 최적화하고, PyTorch 및 TensorFlow와 쉽게 통합할 수 있다. 특히, 여러 개의 요청을 병렬 처리하여 추론 성능을 극대..

• format_list_bulleted AI
• · 2025. 2. 12.
• textsms

RHEL 8.8에서 DVD ISO 파일 마운트 및 로컬 레포지토리 설정

1. ISO 파일 마운트ISO 파일 준비ISO 파일 경로를 /root/rhel-8.8-x86_64-dvd.iso로 가정한다.마운트 디렉토리 생성아래 명령으로 마운트할 디렉토리를 생성한다.mkdir -p /mnt/rhel-8.8-dvdISO 파일 마운트ISO 파일을 마운트한다.mount -o loop /root/rhel-8.8-x86_64-dvd.iso /mnt/rhel-8.8-dvd마운트 확인다음 명령으로 BaseOS와 AppStream 디렉토리가 표시되는지 확인한다.ls /mnt/rhel-8.8-dvd출력에 BaseOS와 AppStream 디렉토리가 포함되어 있으면 정상이다. 2. 기존 레포지토리 비활성화 (선택)backup 디렉토리 생성기존 .repo 파일을 백업하기 위해 backup 디렉토리를 생성..

• format_list_bulleted 개발
• · 2024. 11. 28.
• textsms

DPO(Direct Preference Optimization)와 SFT(Supervised Fine-Tuning)의 차이점

대규모 언어 모델(LLM)을 개발하거나 기존 모델을 개선할 때, 주로 사용되는 학습 방식은 SFT(Supervised Fine-Tuning)와 DPO(Direct Preference Optimization)이다. 이 두 방법은 학습 목표와 접근 방식에서 큰 차이가 있으며, 각각의 장점과 단점을 고려하여 상황에 맞게 선택해야 한다. 이 글에서는 두 방법의 특징과 차이를 설명하고, 어떤 상황에서 각각의 방법이 적합한지 알아본다. SFT란 무엇인가?SFT(Supervised Fine-Tuning)는 지도 학습 방식을 기반으로 모델을 미세 조정하는 방법이다. 주어진 입력(Prompt)에 대한 "정답" 또는 "모범 응답" 데이터를 학습하여 모델이 특정 작업에서 더 나은 성능을 발휘하도록 만든다. 이 과정에서 모델..

• format_list_bulleted AI
• · 2024. 11. 27.
• textsms

텍스트를 벡터로 변환하는 임베딩 모델의 과정

임베딩 모델은 텍스트를 수치화하여 고차원 공간의 벡터로 변환하는 과정을 통해 컴퓨터가 텍스트를 이해할 수 있도록 한다. 이러한 벡터화 과정은 자연어 처리(NLP)에서 핵심적인 역할을 하며, 검색, 분류, 추천 시스템 등 다양한 응용 분야에 활용된다. 이번 글에서는 예시 문장을 기반으로 임베딩 모델이 텍스트를 벡터로 변환하는 과정을 단계별로 설명한다. 1. 텍스트 전처리: 토크나이징(Tokenization)텍스트 벡터화의 첫 번째 단계는 텍스트를 더 작은 단위인 토큰으로 나누는 작업이다. 문장을 단어 또는 서브워드 단위로 분리하며, 이는 임베딩 모델이 입력으로 받을 수 있는 형식으로 변환하기 위함이다.예를 들어,"나는 사과를 먹었고, 저녁에는 오렌지를 먹을 예정이다."라는 문장은 다음과 같이 토큰화된다.[..

• format_list_bulleted AI
• · 2024. 11. 27.
• textsms

HyDE(Hypothetical Document Embedding)란?

1. HyDE의 개념과 배경HyDE(Hypothetical Document Embedding)는 기존 정보 검색 기술의 한계를 극복하기 위해 고안된 혁신적인 검색 방식이다. LLM(Large Language Model)을 활용해 질문에 대한 가상의 문서를 생성하고, 이를 벡터화하여 검색 결과의 정확성과 의미적 일치를 높인다. 기존의 키워드 기반 검색이나 단순 임베딩 검색 방식은 질문의 맥락이나 의도를 충분히 반영하지 못하는 경우가 많았다. HyDE는 이러한 문제를 해결하기 위해 질문과 관련 있는 가상의 문서를 생성하는 단계적 접근 방식을 채택한다. 2. HyDE의 작동 원리HyDE는 다음의 과정을 통해 작동한다사용자의 질문 입력: 사용자가 특정 질문을 입력한다.가상 문서 생성: 질문을 기반으로 LLM을 ..

• format_list_bulleted AI
• · 2024. 11. 26.
• textsms

다국어 텍스트 임베딩 모델 비교: multilingual-e5-large vs multilingual-e5-large-instruct

텍스트 임베딩 모델은 다양한 언어에서 문장 간 의미를 비교하거나 검색 시스템을 구축하는 데 유용하다.이 글에서는 Hugging Face의 두 개의 인기 있는 임베딩 모델, intfloat/multilingual-e5-large와 intfloat/multilingual-e5-large-instruct의 차이점과 활용 방법을 비교해본다. 1. 공통점두 모델은 모두 xlm-roberta-large를 기반으로 하며, 다국어 환경에서 텍스트 임베딩 작업을 수행하도록 설계되었다. 검색 쿼리와 패시지 간의 유사성을 평가하거나 문장의 의미적 표현을 벡터 공간에 매핑하는 데 효과적이다. 2. 모델 간 차이점특징multilingual-e5-largemultilingual-e5-large-instruct학습 방식대규모 텍스..

• format_list_bulleted AI
• · 2024. 11. 26.
• textsms