Data Science21 RAG 검색 방법 비교(희소 검색, 밀집검색-Sparse Retriever vs Dense Retriever) RAG(Retrieval-Augmented Generation) 시스템에서는 사용자의 질의(Query)에 대한 관련 문서를 검색하는 데 주로 두 가지 방식이 사용됩니다. Sparse Retrieval(희소 검색)과 Dense Retrieval(밀집 검색)이 그것입니다. 이 두 검색 방식은 텍스트를 벡터로 표현하고 유사도를 계산하는 방식에서 차이를 보입니다. RAG의 핵심은 검색기입니다. 사용자의 질문에 대해 정확한 정보 제공을 하기위해서는 검색기가 사용자 질문과 가장 관련성 높은 정보를 검색해 LLM이 정확하고 유용한 답변을 생성할 수 있도록 해야합니다. 검색이 효과적으로 이루어지지 않으면, 결과적으로 제공되는 답변의 품질이 떨어질 수 있습니다. 또한 검색 시간도 중요합니다. 효율적인 검색 알고리즘은 데.. 2025. 1. 21. 랭체인(Langchain) 소개 및 특징 (RAG필수 프레임워크) 랭체인(Langchain)은 대규모 언어 모델(LLM)로 구동되는 애플리케이션을 개발하기 위한 프레임워크입니다.RAG에 관심이 있거나 개발하시는 분들이라면 랭체인을 한 번쯤은 들어보셨을 것입니다. GPT와 같은 LLM을 이용해 애플리케이션을 만들려 할 때 부수적으로 개발해야 할 모듈이 많습니다.예를 들어, 문서를 통한 QA 시스템을 만들 때는 기존 FAQ나 정해진 매뉴얼을 불러오는 로더(Loader)부터 데이터베이스화, 프롬프트 작성 등 간단한 시스템에도 서비스를 위한 모듈을 모두 개발해야 합니다. 랭체인(Langchain)은 LLM을 사용하기 위한 다양한 모듈을 통합해 제공하는 프레임워크입니다. 랭체인(Langchain)의 주요 특징과 기능프롬프트 관리 (Prompt Management)프롬프트를 체.. 2025. 1. 20. [맥 OS] VSCode에서 Python 가상환경 프로젝트 만들기 (with pyenv, poetry 2.0.1) 맥 OS 환경에서 가상환경으로 pyton 버전과 패키지를 관리하기 위해 poetry를 이용한 프로젝트를 생성하고, VSCode IDE를 활용하기 위해 프로젝트를 셋팅하는 방법을 정리했습니다.poetry가 2.0.1로 업데이트 되면서 poetry shell이 플러그인으로 빠지면서 poetry shell로 해당 프로젝트의 가상환경 경로를 확인하기 위해서는 poetry 플러그인을 별도로 추가해야합니다. 1. pyenv 설치 및 Python 버전 관리 1.1 Homebrew로 pyenv 설치1) 터미널에서 아래 명령어를 실행하여 pyenv를 설치합니다.brew install pyenv 2) 설치확인pyenv --version1.2 pyenv 초기화1) ~/.zshrc 또는 ~/.bash_profile 파일에 .. 2025. 1. 17. RAG란? (RAG 개념과 활용) RAG(Retrieval-Augmented Generation)는 LLM이 외부 지식 베이스나 문서 저장소에서 질문과 관련된 정보를 검색하고, 이를 프롬프트에 포함시켜 더 정확하고 신뢰성 있는 답변을 생성하는 기술입니다. 이 기술은 LLM의 학습 데이터에 포함되지 않은 최신 정보나 도메인 특화 지식을 활용할 수 있게 해주며, 할루시네이션(Hallucination) 현상을 줄이는 데 도움을 줍니다.RAG의 개념과 특징1. RAG 개념이 생기게된 이유ChatGPT-3 모델이 큰 관심을 받으면서 사용자들이 다양한 결과물을 공유하던 시기가 있었습니다. 그중 "세종대왕 맥북프로 던짐 사건"[1]은 한동안 인터넷에서 화제가 된 밈이었죠. (세종대왕 맥북 던짐 사건 나무위키)이 사건을 계기로 GPT와 같은 AI의 할.. 2025. 1. 17. 어텐션(Attention) 이해하기 어텐션의 사전적 의미는 '주의'입니다. 텍스트 처리 관점에서는 입력된 텍스트에서 단어들 간의 관련성을 '주의 깊게' 파악한다는 의미로 이해할 수 있습니다. 어텐션이 발표되기 전까지는 RNN 기반 전이학습(Transfer Learning)이 가진 대규모 데이터셋 학습의 한계를 해결하기 위한 연구가 여러 대학에서 진행되고 있었습니다. 2017년 구글브레인에서 발표한 Attention is All you need는 이 문제를 단순히 개선하는 데 그치지 않고 완전히 해결할 수 있는 획기적인 연구논문이었습니다. 2025년 현재, 트랜스포머 아키텍처가 세상에 등장한 지 10년이 다 되어가는 시점에서 LLM이라는 형태로 우리 삶에 녹아들고 있는 것을 보면, 당시 느꼈던 혁신적인 변화의 예감이 틀리지 않았음을 알 수 .. 2025. 1. 16. LLM이란 무엇인가? LLM이란?LLM(Large Language Model)은 대규모 데이터를 학습하여 인간과 유사한 방식으로 자연어를 처리하고 생성할 수 있는 인공지능 모델을 의미합니다. LLM은 자연어 처리(NLP: Natural Language Processing) 기술의 핵심으로, 텍스트 데이터를 이해하고 생성하는 데 뛰어난 성능을 발휘합니다.대표적인 LLM으로는 OpenAI의 GPT(Generative Pre-trained Transformer) 시리즈, Google의 BERT, Meta의 LLaMA 등이 있습니다.목차LLM이란?LLM의 주요 특징LLM의 작동원리LLM의 역사LLM을 이해하기 위한 필수 용어LLM 대표적 모델상용 LLM모델오픈소스 LLM모델맺음말LLM의 주요 특징LLM의 개념을 이해하기 위한 주요.. 2025. 1. 15. 이전 1 2 3 4 다음
