LangChain의 개념과 그의 활용법에 대해서 알아보자LangChain이란LangChain은 Python의 프레임워크로 LLM을 중심으로 하여 다양한 데이터 소스와 도구를연결을 시키는 체인 기반 어플리케이션을 구축 할 수 있도록 한다. LangChain을 사용하게되면, 하나의 LLM에서만 응답을 받는 대신에,체인 구조를 통하여 다양한 작업 즉 연산, 데이터처리, 분석 등을 가능하게 한다. 검색, 분석, 생성의 자동화를 할 수 있다.  장점유연한 구성다양한 컴포넌트들을 쉽게 연결 할 수 있다.체인과 에이전트체인을 사용하여 여러 과정을 순차적으로 실행하게 한다.에이전트로 복잡한 작업을 자동화 한다.강력한 통합 기능다양한 언어모델과 데이터베이스와의 연결 및 통합이 가능하여 확장과 빠른검색을 가능하게 한다. ..

LLM의 Vector DB와 RAG의 개념에 대해서 알아보자.Vertor DBVector DB는 벡터 형태로 저장된 데이터들이 모여있는 집합이다.일반적인 데이터베이스는 어떠한 입력에 대해서 정확하게 일치하는 데이터를 검색하지만,Vector DB는 임베딩을 통한 벡터화로 인하여 연관성을 가지고 있기 때문에,유사한 벡터 간의 검색을 지원 할 수 있다. Vector (벡터)텍스트 또는 이미지와 같은 비정형 데이터(구조가 없는 데이터)를 인베딩을 통해 벡터화 하여서 저장한다.이때의 벡터는 데이터의 의미나 특징을 포함하고 있기 때문에, 위에서 이야기한 유사한 벡터간의 검색이가능하도록 한다. Faiss벡터 검색 엔진이다. (Vector DB안의 기능이 아닌 Faiss또한 이 검색 엔진을 지원하는 Vector DB이..

LLM 시스템 형성을 위한 다양한 기법 및 요소RAG, Vector DB, LangChain에 대해서 알아보자RAG  RAG는 Retrieval-Augmented Generation의 약자이다.단어 그대로인 검색 기반 생성 기법을 뜻한다. LLM의 한계인 많은 데이터를 학습했음에도 불구하고, 최신의 정보와 특정 전문적인 지식(도메인 지식)에 대하여 한계를 가질수 밖에 없다. 이를 보안하기 위해서 나온것이 RAG이다.  이는 LLM에서 답을 직접 생성하는것 대신, 외부의 데이터베이스 또는 문서등에서 관련된 정보를 검색하여그 검색한 정보들을 토대로 답변을 생성하는 방식이다.  동작 원리질문 입력사용자의 인풋을 질문으로 받아서, 질문에 맞는 답변을 위해 검색 단계를 거친다문서 검색백터 DB 나 기타 저장소 등..