LLM & RAG 용어정리 (LLM 사용 전 중요한 개념)

---

LLM을 사용하기 전에 알아야 할 중요한 개념들에 대해서 알아보자.

---

 

보안 문제

LLM을 사용할 때의 데이터 보안 문제가 생길 수 있다.

 

1. 개인 정보 보호
   1. 학습 데이터 또는 대화를 통하여 민감한 개인 정보가 포함이 될 수 있다.
2. 데이터 저장 및 전송
   1. LLM이 처리한 데이터가 어디에 저장되는지, 어디로 전송이 되는지를 알아야한다.

 

---

보안을 강화하는 방법

1. 민감한 정보 필터링
   1. 입력된 데이터에서 민감한 정보를 자동으로 거르는 필터링 시스템을 구축 하는 방법.
2. 암호화
   1. SSL/TLS 와같은 데이터 암호화 프로토콜을 이용한다.
   2. SSL/TLS을 HTTP와 결합한 HTTPS를 사용한다.
3. 데이터 저장 최소화
   1. 학습데이터가 아닌 유저의 데이터의 최소화를 뜻한다.
   2. 데이터 보존 주기를 설정해 자동으로 삭제를 시키는등 유저의 정보를 지속적으로 정리해야한다.
4. 접근의 통제
   1. LLM을 사용할 수 있는 사람의 권한을 제한하는것이 좋다.
   2. 모델의 민감한 데이터에 접근을 하는 인원을 제한한다.

 

---

API

서로 다른 소프르웨어 시스템 간에 데이타와 기능을 주고 받을 수 있도록 하는 인터페이스를 뜻한다.

API를 통하여 두 프로그램이 서로 전송및 받기를 가능케 한다.

 

이를 API_KEY를 이용하여 Access를 제한할 수 있다.

 

 

---

기본 개념

1. 클라이언트 - 서버 모델
   1. 클라이언트 가 서버에 데이터를 요청하게 되면, 서버는 해당하는 데이터를 찾아서 클라이언트에게 전송한다.
2. HTTP/HTTPS 프로토콜
   1. HTTP와 HTTPS 를 통해서 요청과 응답이 이뤄진다. 
   2. 위의 보안에서의 내용처럼, HTTP의 암호화 버전이 HTTPS이다.
3. RESTful API
   1. 가장 흔한 API 방식으로 URL(엔드포인트) 와 HTTP 메소드 (GET, POST, PUT, DELETE 등)을 이용한다.

 

---

장점

1. 유연성
   1. 원할 때 마다 요청을 보내서 결과를 받을 수 있다.
   2. 실시간으로 다양한 어플리케이션에서 적용 할 수 있다.[
2. 확장성
   1. 다양한 서비스와 플랫폼의 통합이 가능하다.
   2. 동시에 사용 가능한 확장성을 지니고 있다.
3. 업데이트
   1. API 제공자가 모델의 업데이트를 진행하면, 최신 기능을 바로 사용 할 수 있다.
4. 비용 효율성
   1. API의 호출에 따른 비용이 청구가 됨으로, 직접 서버를 유지할 필요가 없어 사용한 만큼만의 비용이 청구된다.

 

 

 

---

흐름

LLM + Vector DB + LangChain 구축의 흐름

 

1. 입력 데이터 필터링
2. 텍스트 데이터를 벡터로 임베딩
3. 생성된 벡터를 Vector DB에 저장
4. 질문이 입력되면 임베딩을 진행
5. 질문 벡터와 DB에서 유사한 벡터를 찾음
6. 유사한 데이터를 LLM으로 전송하여 답변을 생성
7. 이 과정을 LangChain을 이용하여 API 형태로 제공