vLLM과 Ollama 비교

AI 애플리케이션을 개발할 때, LLM(Large Language Model)의 성능과 활용도를 고려해야 한다.최근 경량 LLM 프레임워크로 주목받는 vLLM과 Ollama는 각기 다른 장점을 가지고 있어 사용 목적에 따라 적절한 선택이 필요하다.이를 비교하여 어떤 환경에서 어떤 프레임워크를 선택하는 것이 적합한지 살펴본다.vLLM과 Ollama란?vLLM SKYPILOT에서 개발한 GPU 기반 LLM 추론 최적화 프레임워크이다. 빠른 토큰 생성과 효율적인 메모리 관리가 특징이며, 대규모 AI 애플리케이션에 적합하다. PagedAttention 기술을 활용해 메모리를 최적화하고, PyTorch 및 TensorFlow와 쉽게 통합할 수 있다. 특히, 여러 개의 요청을 병렬 처리하여 추론 성능을 극대..

• format_list_bulleted AI
• · 2025. 2. 12.
• textsms

Llama 3.2-Vision을 사용한 로컬 OCR 애플리케이션 구축하기

OCR(Optical Character Recognition)은 이미지를 텍스트로 변환하는 기술로, 문서 디지털화 및 데이터 추출에 유용하게 활용된다. 이 글에서는 Llama 3.2-Vision 모델과 Ollama 플랫폼을 사용해 로컬 환경에서 OCR 애플리케이션을 구축하는 방법을 소개한다.1. 사전 준비애플리케이션 구축 전에 다음 준비가 필요하다.Python 3.7 이상: 프로젝트를 실행하기 위한 필수 요소.Ollama 플랫폼: Llama 3.2-Vision 모델을 실행하는 데 필요한 소프트웨어.Ollama 설치 방법Ollama 공식 웹사이트에 접속해 운영 체제에 맞는 설치 패키지를 다운로드한다.설치 후, 터미널에서 ollama 명령어를 실행해 설치가 제대로 되었는지 확인한다.2. Llama 3.2-V..

• format_list_bulleted AI
• · 2024. 11. 24.
• textsms

LLM을 활용한 GitHub PR 코드 리뷰 자동화

1. 시작하게 된 계기사이드 프로젝트 팀에서 우리는 코드 리뷰 프로세스의 효율성을 높이기 위해 다양한 방법을 고민하던 중이었다.팀원들은 종종 PR이 너무 많이 쌓여 시간 내에 리뷰를 완료하기 힘들다는 문제를 제기했고, 코드 리뷰를 자동화할 수 있는 방안을 모색하게 되었다.그 중, 자연어 처리 기술인 LLM(Large Language Model)을 활용해 코드 리뷰를 자동화하는 아이디어가 나왔다.LLM은 주로 텍스트 분석에 사용되지만, 최근에는 코드 이해 및 생성 능력까지 발전하고 있어, 이를 통해 PR 리뷰 과정에서 코드의 품질을 평가하고, 개선할 수 있는 피드백을 제공할 수 있을 것이라고 생각했다. 이를 기반으로 우리는 LLM을 활용한 자동화 코드 리뷰 시스템을 구축하기로 했다.2. 아키텍처이 프로젝트..

• format_list_bulleted AI
• · 2024. 8. 18.
• textsms

Ollama K8S에 배포하기

Kubernetes에 Ollama(LLM REST API)를 배포배경비즈니스와 실제 시나리오에서 서비스의 확장성과 고가용성은 매우 중요하다. Kubernetes는 이러한 작업을 조율하는 도구로 각광받고 있다. 여러 모델을 선택할 수 있는 LLM을 REST API로 배포하고 이를 확장할 수 있다면 어떨까? 하는 생각에 시도해보았다.환경Firebat AK2 PlusCPU : Intel N100RAM : 16GBstorage : 512GBOS : Rocky Linux 9배포namespaceollama_ns.yamlapiVersion: v1kind: Namespacemetadata: name: ollama$ kubectl apply -f ollama_ns.yamldeploymentollama_deploy.ya..

• format_list_bulleted k8s
• · 2024. 7. 4.
• textsms