2024년 11월 14일 TIL

오늘의 이모저모

오늘은 어제 유난을 떨어서 그런진 모르겠어도

 

뭔가 공부가 잘?됬다고 해야하나

 

계속 이론공부하다가 코드 짜서 그런건진 몰라도 진짜 첫날 수업한것마냥

 

시간가는줄 모르고 했던거 같다.

 

 

나중에는 튜터님 퇴근시간인지도 모르고 붙잡고 있더라 ㅋㅋㅋ

 

 

---

오늘의 목표

1. 개인과제
2. SQL
3. 알고리즘

 

주말 전 까지 과제를 끝내고, 주말에는 복습과 챌린지반 과제를 하려고 최대한 빠르게 하고있다.

---

오늘한 것

오늘은 개인 과제에 집중을 해봤다.

물론 SQL과 알고리즘은 완료했다.

 

오늘 개인 과제하면서 마주했던 문제들이 생각보다 있었다.

 

조금은 다른 부분으로 해결은 했지만, 원본적인 문제가 되지는 않기 때문에 조금더 고민을 해볼 필요가 있다.

 

이는 pdf파일을 텍스트로 가져오면서 생기는 문제들이다.

 

즉 pdf파일이 다음줄로 넘어가면서, 문장이 끊겼다 라고 인식하는 문제이다.

 

 

정규식을 사용해 이 불필요한 줄바꿈을 제거했다만, 또 다시 생긴 문제는

pdf의 표시방법과 텍스트의 저장방식은 달랐다는 것이다.

 

유저가 보기에는 문단별로 되어있지만, 실상은 빈칸을 빈공간으로 읽지않고 바로

줄바꿈으로 인식을 하기 때문에 구분자를 사용하더라도 한줄씩 또는 한페이지씩 밖에 되지 않았다.

 

이는 similarity로 데이터를 분석하는 기능을 통하여

크게 상관은 없을거라 후에 생각은 했다만, 시간을 두고 방법을 찾아보아도 방법이 없어서 포기했다.

 

 

 

오늘의 진행은 사실 필수과제는 완료했지만,

이는 내 데이터가 실제로 잘작동하는지, 참고의코드를 불러온 것이라 나의코드가 아니라 판단.

 

테스트만 하고 전부 지워 다시 작성중에 있다.

 

 

내일이면 완료가 될 것 같다.

 

---

링크

https://github.com/K-MarkLee/CH3_LLM_and_RAG_personal_work

GitHub - K-MarkLee/CH3_LLM_and_RAG_personal_work: sparta_CH3_LLM_and_RAG_personal_work