개요
AI 개발자들 사이에서 레그가 제대로 작동하지 않는다는 이야기가 점점 많아지고 있습니다. 내부 문서를 AI에 연결했는데 정작 AI가 그 내용을 제대로 찾지 못하는 문제에 대한 원인과 해결 방법을 제시합니다.
이 영상은 메이커 에반이 AI 엔지니어링 경험을 바탕으로 제작한 콘텐츠입니다. 레그의 근본적인 문제점부터 실무에서 사용할 수 있는 실용적인 대안까지 상세히 다룹니다.
핵심 내용
레그의 기본 개념과 동작 방식
레그는 간단히 말하면 AI에게 관련 문서를 참고해서 대답하도록 하는 방법입니다. 채 GPT 같은 AI는 학습한 것만 알기 때문에 최신 뉴스나 회사 내부 문서는 모릅니다. 레그는 이 문제를 해결하기 위해 관련 문서를 찾아서 AI에게 함께 전달하는 방식입니다.
구체적인 동작 과정은 다음과 같습니다. 먼저 문서를 보통 몇백 단어 단위로 잘게 자릅니다. 그 조각을 AI가 이해하는 숫자 형태로 변환해서 데이터베이스에 저장합니다. 질문이 들어오면 질문도 숫자로 변환해서 가장 비슷한 조각을 찾아내는 방식입니다.
레그가 실패하는 근본적인 이유
문제는 문서를 자르는 순간부터 시작됩니다. 영상에서는 구체적인 예시를 들어 설명합니다. 어떤 조각에 마케팅 비용이 전 분기 대비 15% 증가했다고 써 있다고 해봅시다. 하지만 어느 회사인지, 몇 분기인지, 무엇을 기준으로 15% 증가했는지에 대한 정보는 없습니다. 이는 책 한 페이지를 달랑 찢어 주는 것과 똑같습니다. 앞뒤 문맥이 없으면 그 문장만으로는 의미가 없습니다.
문서를 자르는 순간 앞뒤 맥락이 사라지기 때문에, 실제로 써 보면 분명히 문서에 있는 내용인데 AI가 엉뚱한 답변을 내뱉는 일이 대부분입니다.
클로드 코드의 다른 접근 방식
흥미로운 케이스로 클로드 코드를 소개합니다. AI로 코딩을 도와주는 도구인 클로드 코드는 레그를 쓰지 않습니다. 대신 사람이 문서를 찾을 때 하는 방식 그대로 동작합니다. 검색으로 파일을 뒤지고 필요한 부분을 찾는 방식입니다.
예를 들어 코드 파일이 1만 줄짜리라고 해봅시다. 레그 방식이었으면 이를 어떻게 잘라서 저장할지 고민해야 합니다. 클로드 코드는 그냥 처음 열 줄만 읽습니다. 구조가 파악되면 끝나고, 더 필요하면 열 줄 더 읽습니다. 사람이 낯선 문서를 처음 볼 때 하는 방식과 똑같습니다.
영상에서는 이를 자율 주행의 카메라 대 라이더 논쟁에 비유합니다. 테슬라는 카메라만 쓰고 구글 웨이모는 라이더를 답니다. 라이더가 더 정밀하고 카메라가 불안정하다는 것은 누구나 알지만, 테슬라는 카메라만으로도 엄청난 주행 데이터로 학습해서 점점 따라잡고 있습니다. 레그가 라이더고 AI 직접 탐색이 카메라입니다. 레그는 정확한 것 같지만 복잡하고 확장이 어렵고 부품 하나에 문제가 생기면 전체가 흔들립니다. AI 직접 탐색은 단순한데 모델 발전 속도에 따라 같이 빠르게 발전합니다.
실전 가이드
제대로 된 레그 구축 방법
먼저 검색을 두 가지 방법으로 동시에 수행해야 합니다. 하나는 임베딩 기반 검색이고 하나는 키워드 기반 검색입니다.
임베딩 기반 검색은 비슷한 뜻을 찾는 방식입니다. 매출 증가라고 물어봐도 수익 상승이 담긴 문서를 찾습니다. 키워드 기반 검색은 단어 자체를 찾는 방식입니다. 삼성전자라고 물어보면 그 단어가 있는 문서를 찾습니다. 둘 다 써야 제대로 된 검색이 됩니다. 이를 하이브리드 서치라고 합니다.
여기에 한 단계를 더 추가합니다. 검색 결과를 다시 한번 전문가가 검토해서 진짜 관련 있는 것만 골라내는 과정입니다. 이를 리랭킹이라고 합니다.
더 나아가 아예 문서들 사이에 관계를 지도처럼 만들어 두는 방법도 있습니다. A 문서가 B 문서를 인용하고 있고 C 문서와 관련 있다는 관계를 미리 다 정의해 두는 것입니다. 이를 그래프 레그라고 합니다. 성능은 좋지만 구축 비용이 겁나게 많이 들고 문서가 추가되거나 수정될 때 관계도를 다시 그려야 합니다.
영상에서는 솔직하게 묻습니다. 이 방식을 여러분 회사에서 이를 다 구축하고 유지보수할 인력이 있냐고요. 스타트업이나 중소 기업에서는 사실상 불가능하다고 봅니다.
컨텍스트 윈도우를 활용한 단순한 방법
최근 주목받는 방식은 AI가 한 번에 처리할 수 있는 정보의 양, 즉 컨텍스트 윈도우를 활용하는 것입니다. 쉽게 말하면 AI의 작업 책상 크기입니다. 이것이 3년 사이에 250배 커졌습니다.
문서가 길지 않으면 자르지 말고 그냥 통째로 다 집어넣는 것이 차라리 낫습니다. 복잡한 시스템 없이, 자르는 문제 없이, 맥락 끊김 없이 문서 전체를 그대로 보니까 훨씬 정확한 답이 나올 수 있습니다.
하지만 한계도 있습니다. 첫째, 비용 문제입니다. 책 수십 권 분량을 AI에게 보낼 때마다 요금이 나갑니다. 연구 결과에 따르면 통째로 넣는 방식이 레그보다 최대 82배 비쌀 수 있습니다. 둘째, 기업 데이터는 훨씬 방대합니다. 책 수십 권이면 많은 것 같지만 대기업 내부 문서, 고객 상담 이력, 계약서들은 수십만 권입니다. 다 집어넣을 수가 없습니다. 셋째, AI도 긴 글을 읽으면 중간 부분을 흘려봅니다. 스탠포드 연구원이 발견한 것인데, AI도 우리와 똑같이 긴 내용을 처리하면 처음과 마지막은 잘 기억하는데 중간 부분은 흘려버리는 경향이 있습니다. 성능이 30% 이상 떨어진다고 합니다.
엔스로픽의 컨텍스츄얼 임베딩 방법
엔스로픽이 재밌는 방법을 하나 발표했습니다. 아이디어가 단순합니다. 문서를 자르기 전에 그 조각이 전체 문서에서 어떤 위치에 있는지 설명을 붙여주는 것입니다.
예를 들어 마케팅 비용이 15% 증가했다는 조각이 있으면 거기에 “이 내용은 A기업 2024년 3분기 실적 보고서 마케팅 지출 변화를 다루는 섹션의 일부입니다”라는 식으로 설명을 앞에 붙입니다. 그리고 나서 저장합니다. 이렇게 하면 조각을 잘라도 원래 맥락이 같이 따라다닙니다. 책 페이지를 찢더라도 페이지 위에 “2장 3절 마케팅 비용 분석 파트”라고 써 놓는 것과 같은 원리입니다.
실제로 엔스로픽 실험에서 검색 실패율이 67%나 줄었다고 발표했습니다.
요약본 검색 후 원본 전달 방식
영상 제작자가 사용해서 효과적이었던 아이디어를 소개합니다. PDF 문서를 단락 단위로 나눈다고 해봅시다. 보통은 이 단락 내용을 그대로 데이터베이스에 저장합니다. 하지만 이것을 뒤집습니다.
AI로 각 단락을 먼저 요약합니다. 그 요약문과 소제목을 묶어서 검색용으로 저장합니다. 그러면 검색할 때는 이 가볍고 핵심만 담긴 요약본으로 찾습니다. 찾고 나서 AI에게 전달할 때는 요약이 아니라 원본 단락 전체를 줍니다.
핵심을 정리하면, 검색은 요약본으로 빠르고 정확하게, 읽기는 원본으로 깊고 정확하게 합니다. 마치 도서관 목록으로 책을 찾고 실제로는 책 본문을 읽는 것과 같습니다.
비판적 검토
영상은 레그의 근본적인 문제점을 명확히 짚어내고 있습니다. 특히 문서를 자르는 순간 맥락이 사라진다는 설명이 직관적이고 이해하기 쉽습니다. 클로드 코드 사례나 자율 주행 비유도 개념을 이해하는 데 효과적입니다.
다만 제시된 해결 방법들의 구체적인 구현 난이도나 비용 대비 효과에 대한 정량적 비교는 부족합니다. 하이브리드 서치, 리랭킹, 그래프 레그 등을 언급하지만 각각을 어떤 상황에 적용해야 하는지에 대한 명확한 가이드라인은 제공하지 않습니다. 실무에 적용하실 분들은 자신의 문서 규모, 예산, 기술 인력 수준을 고려하여 어떤 방법이 가장 적합한지 추가로 검토할 필요가 있습니다.
또한 AI 모델의 발전 속도를 고려하면, 컨텍스트 윈도우가 계속 커지고 있고 중간 부분 흘려보기 문제도 개선될 가능성이 높습니다. 따라서 복잡한 레그 시스템을 구축하기보다는 단순한 방법으로 시작해서 필요에 따라 점진적으로 개선하는 접근이 더 효율적일 수 있습니다.
데이터 기반 인사이트
영상에서 제시된 주요 통계와 연구 결과는 다음과 같습니다:
- 컨텍스트 윈도우 크기: 3년 사이에 250배 증가
- 통째로 넣기 vs 레그 비용: 통째로 넣는 방식이 최대 82배 더 비쌀 수 있음
- 엔스로픽의 컨텍스츄얼 임베딩: 검색 실패율 67% 감소
- 긴 문맥 처리 시 성능 저하: 스탠포드 연구에 따르면 AI가 긴 내용 처리 시 중간 부분을 흘려보며 성능이 30% 이상 떨어짐
이러한 수치들은 레그 시스템 설계 시 중요한 참고 자료가 됩니다. 특히 비용과 성능 사이의 트레이드오프를 고려할 때 실질적인 기준을 제공합니다.
핵심 요점
영상을 본 후 기억해야 할 다섯 가지:
1. 단순 레그는 문서를 자르는 순간 맥락을 잃어 실제 성능이 기대에 못 미친다. 책 한 페이지를 찢어서 주는 것과 같아서 앞뒤 문맥 없이는 의미를 파악하기 어렵습니다. 실무에서 분명 문서에 있는 내용인데 AI가 엉뚱한 답을 하는 이유가 바로 여기에 있습니다.
2. 제대로 된 레그는 하이브리드 서치, 리랭킹, 그래프 레그 등 복잡한 기술이 필요하지만 중소기업이나 스타트업에서는 구축과 유지보수가 현실적으로 어렵다. 임베딩 기반과 키워드 기반 검색을 동시에 수행하고, 결과를 재검토하며, 문서 간 관계를 지도로 만드는 작업은 상당한 인력과 비용을 요구합니다.
3. 컨텍스트 윈도우가 250배 커지면서 문서가 많지 않다면 자르지 말고 통째로 넣는 것이 더 정확할 수 있다. 복잡한 시스템 없이 맥락 끊김 없이 전체를 보여주는 방식이지만, 비용이 레그보다 최대 82배 비싸고 대량 문서에는 적용하기 어렵다는 한계가 있습니다.
4. 엔스로픽의 컨텍스츄얼 임베딩은 문서 조각에 맥락 설명을 붙여 검색 실패율을 67% 줄였다. 각 조각이 전체 문서에서 어떤 위치와 역할을 하는지 설명을 앞에 붙여 저장하면, 조각을 잘라도 원래 맥락이 함께 전달되어 정확도가 크게 향상됩니다.
5. 요약본으로 검색하고 원본으로 전달하는 방식은 검색 속도와 답변 정확도를 모두 높이는 실용적인 중간 해법이다. 각 단락을 AI로 요약해 검색용으로 저장하고, 검색 후에는 원본 전체를 전달하는 방식으로 도서관 목록으로 책을 찾고 실제로는 본문을 읽는 것처럼 효율과 정확도를 동시에 잡을 수 있습니다.
요약자 주
이 요약은 2025년 2월 21일에 작성되었습니다. 영상은 레그 기술의 현재 한계와 실무적 대안을 균형 있게 다루고 있지만, AI 모델의 발전 속도가 빠르므로 일부 내용은 시간이 지나면 달라질 수 있습니다. 특히 컨텍스트 윈도우 크기와 긴 문맥 처리 성능은 계속 개선되고 있어, 복잡한 레그 시스템 구축보다는 단순한 방법으로 시작해 필요에 따라 점진적으로 개선하는 접근을 권장합니다.
영상에서 언급된 구체적인 수치들은 연구 논문이나 공식 발표 자료에서 인용한 것으로 보이나, 출처가 명시되지 않아 직접 검증이 어려운 점은 참고하시기 바랍니다.