LLM & RAG 용어정리 (LLM)

---

LLM이 무엇인지 알아보자!

---

LLM

LLM은 Large Language Model 의 약자이다.

말 그래도 대규모의 텍스트 데이터를 학습하여 자연어를 이해하고 그에 맞게 생성을 해주는 AI의 모델이다.

 

번역, 텍스트 생성 및 질의응답 과 같은 자연어의 처리(NLP) 의 기본적인 작업이 가능하다.

 

 

---

 

 

동작 원리

LLM의 동작의 원리는 3가지의 단계로 나뉘어 진다.

 

아래의 내용들 즉 3가지의 단계들을 알고나면

LLM을 개인이 만들기란 거의 불가능에 가깝다는 것을 알 수 있으며,

만든다고 할지라도 정확성 부분에서 떨어질 수 밖에 없다는 것을 알 수 있다.

 

---

학습

Training

대규모의 텍스트 데이터셋을 이용하여서 학습을 하는것을 의미한다.

 

어마어마 하게 많은 데이터셋을 학습을 하며, 이 텍스트 데이터들을 통하여 단어와 단어사이

그리고 문장과 문장의 연결 등 패턴을 인식하고 학습을 하는것이 매우 중요한 개념이다.

 

이를 통해서 새로운 문장이나 답변을 생성할때 그 패턴을 적용하여 자연스럽게 할 수 있다.

 

---

추론

Inference

추론이란 사전 학습된 방대한 양의 데이터를 바탕으로, 주어진 질문이나 상황에 대해서

적절하게 응답을 생성하는 과정을 의미한다.

이는 저장된 정보에서 검색을 하여서 생성을 해내는 것이 아닌,

학습된 패턴을 바탕으로 정보를 조합하여 새로운 응답을 해내는 복잡한 과정이다.

---

귀납적 추론

귀납적 추론은 추론의 종류중 하나로써, 대량의 데이터에서 패턴을 인식하고 일반화 하는 추론을 의미한다.

이는  LLM의 학습 방식과 맞으며 강점을 보이고 있다.

 

---

연역적 추론

연역적 추론은 추론의 종류중 하나로써, 일반적인 원칙이나 규칙 및 특정한 조건에 따른

논리적인 결론을 도출해내는 추론을 의미한다.

이것은 어떠한 일에 대해서 이해를 하고 추론을 해야하는 방식이므로,

다량의 데이터에서 패턴을 인식하고 학습하는 LLM 모델에는 어려움을 겪는 부분이 있다.

이는 LLM모델은 데이터를 이해 한다기보다 패턴을 분석하고 학습하는 방식으로 작동하기 때문이다.

 

 

 

---

미세 조정

Fine-tuning

미세 조정이란 LLM을 특정 목적이나 도메인에 맞게 추가적으로 학습을 하는 것을 의미한다.

쉽게 말하자면 사용자의 목적에 맞게 조정을 거친다 라고 생각하면 된다.

 

예시로 학교에서 학생들을 위한 가이드 같은 느낌으로 사용을 한다고 하면,

학생들이 알기쉽게 쉬운단어로 변경하게 조건을 추가해야하고,

언어의 순화와 그 특정한 학교만의 데이터들을 추가하여 학습을 시킴으로써

그 학교의 학생들만을 위한 가이드의 정확성이 높아진다.

 

 

---

 

 

랜덤성

Randomness 즉 랜덤성이란 모델이 새로운 문장을 만들어 내는 능력을 키우는 요소이다.

 

LLM은 기본적으로 패턴을 익혀 그것을 통한 확률의 기반으로 문장을 생성하게 된다.

즉 기본적으로 랜덤성이 존재하지 않는다면, 기존의 학습 데이터의 짜집기 문장밖에 생성할 수 없다.

 

랜덤성에는 온도라는 매개변수를 주어서 온도의 값이 높을수록 좀더 창의적인 문장을 생성하게끔 한다.

 

LLM이 생성을 하는 과정에서 각 토큰의 확률을 계산하여 문장을 생성해 내는데,

온도를 통해서 이 토큰의 확률을 왜곡시켜서 조금더 새로운 문장을 생성하도록 유도한다.

 

 

'온도'가 낮을때의 문장 - "오늘은 날씨가 매우 좋습니다."

'온도'가 높을때의 문장 - "날씨가 너무 좋아서 구름들이 춤을 추고 있어요. 바람은 재즈를 연주하고 있답니다."

 

 

이를 통하여 온도가 낮다면, 질문이 비슷하다면 거의 유사한 답변을 하겠고,

온도가 높다면, 같은 질문에도 다양한 답변을 할 수 있다는 것을 알 수 있습니다.

 

 

---

 

 

조건성

Conditioning즉 조건성은 조건부의 확률을 기반으로 결과를 만들어 낸다는 의미다.

 

LLM은 프롬프트를 통한 유저의 입력 내용에 따라서 문장을 조건부로 생성을 하게 되는데

이를 컨텍스트라고 한다.

 

바로 직전의 입력뿐만이 아닌, 이전 생성해낸 문장이나 대화의 흐름들 즉 맥락을 기억하고

그에 맞춰서 문장을 생성하는 것이다.

 

 

프롬프트의 차이

"오늘 날씨는 어때?" - "오늘의 날씨는 매우 좋습니다"

"오늘 놀기 좋은 날씨야?" - "오늘의 날씨가 매우 좋으므로 밖에 나가서 놀기 좋은 날씨 입니다"

 

 

---

 

 

 

추가정보

위와 같은 정보들을 통하여 어떻게 하면 좀더 LLM기반 모델을 좀더 잘 활용할 수 있는지 알게되며

LLM의 원리와 한계를 통해서 사용자의 목적에 따라 올바른 도구를 선택 할 수 있게 도와주며,

올바른 기술 요소등을 사용하여서 성능을 높일 수도 있다.

 

 

 

 

끝.