HyDE(Hypothetical Document Embedding)란?

1. HyDE의 개념과 배경HyDE(Hypothetical Document Embedding)는 기존 정보 검색 기술의 한계를 극복하기 위해 고안된 혁신적인 검색 방식이다. LLM(Large Language Model)을 활용해 질문에 대한 가상의 문서를 생성하고, 이를 벡터화하여 검색 결과의 정확성과 의미적 일치를 높인다. 기존의 키워드 기반 검색이나 단순 임베딩 검색 방식은 질문의 맥락이나 의도를 충분히 반영하지 못하는 경우가 많았다. HyDE는 이러한 문제를 해결하기 위해 질문과 관련 있는 가상의 문서를 생성하는 단계적 접근 방식을 채택한다. 2. HyDE의 작동 원리HyDE는 다음의 과정을 통해 작동한다사용자의 질문 입력: 사용자가 특정 질문을 입력한다.가상 문서 생성: 질문을 기반으로 LLM을 ..