HyDE(Hypothetical Document Embedding)란?

1. HyDE의 개념과 배경HyDE(Hypothetical Document Embedding)는 기존 정보 검색 기술의 한계를 극복하기 위해 고안된 혁신적인 검색 방식이다. LLM(Large Language Model)을 활용해 질문에 대한 가상의 문서를 생성하고, 이를 벡터화하여 검색 결과의 정확성과 의미적 일치를 높인다. 기존의 키워드 기반 검색이나 단순 임베딩 검색 방식은 질문의 맥락이나 의도를 충분히 반영하지 못하는 경우가 많았다. HyDE는 이러한 문제를 해결하기 위해 질문과 관련 있는 가상의 문서를 생성하는 단계적 접근 방식을 채택한다. 2. HyDE의 작동 원리HyDE는 다음의 과정을 통해 작동한다사용자의 질문 입력: 사용자가 특정 질문을 입력한다.가상 문서 생성: 질문을 기반으로 LLM을 ..

  • format_list_bulleted AI
  • · 2024. 11. 26.
  • textsms

다국어 텍스트 임베딩 모델 비교: multilingual-e5-large vs multilingual-e5-large-instruct

텍스트 임베딩 모델은 다양한 언어에서 문장 간 의미를 비교하거나 검색 시스템을 구축하는 데 유용하다.이 글에서는 Hugging Face의 두 개의 인기 있는 임베딩 모델, intfloat/multilingual-e5-large와 intfloat/multilingual-e5-large-instruct의 차이점과 활용 방법을 비교해본다. 1. 공통점두 모델은 모두 xlm-roberta-large를 기반으로 하며, 다국어 환경에서 텍스트 임베딩 작업을 수행하도록 설계되었다. 검색 쿼리와 패시지 간의 유사성을 평가하거나 문장의 의미적 표현을 벡터 공간에 매핑하는 데 효과적이다. 2. 모델 간 차이점특징multilingual-e5-largemultilingual-e5-large-instruct학습 방식대규모 텍스..

  • format_list_bulleted AI
  • · 2024. 11. 26.
  • textsms
Granite-3.0-8B-Instruct

Granite-3.0-8B-Instruct

1. Granite-3.0-8B-Instruct 이란?Granite-3.0-8B-Instruct는 IBM이 개발한 대규모 언어 모델(LLM)로, 약 80억 개의 매개변수를 기반으로 설계되었다. Granite-3.0-8B-Base 모델을 기반으로, 다양한 오픈소스 지침 데이터셋과 IBM 내부 합성 데이터셋을 활용해 미세 조정한 모델이다. 이 모델은 다국어 지원, 코드 생성, 엔터프라이즈 작업에 최적화되어 있으며, 특히 기업용 환경에서 강력한 성능과 비용 효율성을 목표로 제작되었다. 2. 주요 특징아키텍처구조: 디코더 기반 Transformer매개변수 수: 약 8.1B레이어 수: 40Attention Heads: 32Sequence Length: 4096활성화 함수: SwiGLU지원 언어영어, 독일어, 한국..

  • format_list_bulleted AI
  • · 2024. 11. 25.
  • textsms

Llama 3.2-Vision을 사용한 로컬 OCR 애플리케이션 구축하기

OCR(Optical Character Recognition)은 이미지를 텍스트로 변환하는 기술로, 문서 디지털화 및 데이터 추출에 유용하게 활용된다. 이 글에서는 Llama 3.2-Vision 모델과 Ollama 플랫폼을 사용해 로컬 환경에서 OCR 애플리케이션을 구축하는 방법을 소개한다.1. 사전 준비애플리케이션 구축 전에 다음 준비가 필요하다.Python 3.7 이상: 프로젝트를 실행하기 위한 필수 요소.Ollama 플랫폼: Llama 3.2-Vision 모델을 실행하는 데 필요한 소프트웨어.Ollama 설치 방법Ollama 공식 웹사이트에 접속해 운영 체제에 맞는 설치 패키지를 다운로드한다.설치 후, 터미널에서 ollama 명령어를 실행해 설치가 제대로 되었는지 확인한다.2. Llama 3.2-V..

  • format_list_bulleted AI
  • · 2024. 11. 24.
  • textsms
Modular RAG Pattern

Modular RAG Pattern

Linear Pattern선형 흐름 패턴은 가장 단순하고 가장 일반적으로 사용되는 패턴RAG 흐름 패턴은 주로 검색 전처리 - 검색 - 후처리 및 생성 모듈로 이루어진 구성Pre-RetrieveQuery TransformRewrite Query, HyDEPost-RetrieveReranker, ReorderRewrite - Retrieve - Read (RRR)RRR Conditional PatternConditional RoutingQuery 입력에 따라 RAG 파이프라인 선택라우팅 모듈이 존재예시) 입력된 Query에 따른 검색기 선택 Branching PatternPre-Retrieve검색 소스/검색 프로세스/프롬프트/모델 등이 달라짐각 브랜치는 검색 & 생성을 개별적으로 수행한 다음 결과를 앙상블..

  • format_list_bulleted AI
  • · 2024. 10. 26.
  • textsms
Modular RAG

Modular RAG

Modular RAG레고와 같이 재구성이 용이하고 보다 유연한 흐름을 만들 수 있는 프레임워크독립적(Independant) - 기능 위주로 세분화유연하고 확장성(flexable & scalable) - 모듈의 추가 및 변경이 쉬움동적(dynamic) - 그래프 형식의 흐름 구성, 상황에 따른 분기 처리 모듈모듈, 하위 모듈 및 운영자로 구성된 아키텍처 설계를 통해 통합되고 구조화된 방식으로 RAG 시스템을 정의각 단계(Step)를 모듈(Module) 별로 정의각 모듈은 하위 모듈(Sub Module)로 구성하위 모듈은 플러그인 형식의 독립된 구조독립 구조각 모듈은 조립형으로 설계(레고 블록)병렬 구조여러 하위 모듈을 동시실행 후 병합 가능분기 구조상황에 따른 분기 처리가 가능 독립적인 모듈 구성동일한 형..

  • format_list_bulleted AI
  • · 2024. 10. 26.
  • textsms