RAG란 무엇인가: 긴 문맥 모델 시대에도 검색 증강 생성이 필요한 이유

수십만에서 백만 토큰 이상을 한 번에 처리할 수 있는 긴 문맥 LLM이 등장하면서 RAG의 필요성에 의문을 제기하는 목소리가 나오고 있다. 굳이 복잡한 검색 시스템을 구축하지 않고 모든 정보를 프롬프트에 그대로 넣으면 되지 않느냐는 질문이다. 일견 타당해 보이지만, 결론부터 말하면 긴 문맥 모델이 널리 쓰이는 지금도 RAG(검색 증강 생성)는 여전히 필요하며 오히려 더 중요해진 측면이 있다. 이 글은 RAG의 핵심 가치를 되짚고 왜 여전히 필수적인지 정리한다.

핵심 설명

RAG는 LLM에게 오픈북 시험의 기회를 주는 것과 같다

RAG는 LLM이 답변을 만들기 전에 외부 데이터베이스에서 질문과 관련된 정보를 검색하고, 그 정보를 근거로 답변을 생성하도록 하는 기술이다. 일반적인 LLM을 클로즈드북 시험을 보는 학생에 비유할 수 있다. 이 학생은 오직 학습 과정에서 익힌 지식에만 의존해야 하므로, 기억이 부정확하거나 모르는 내용을 그럴듯하게 지어낼 가능성이 있다. RAG는 이 학생에게 오픈북 시험의 기회를 주는 것과 같다. 질문을 받으면 먼저 관련 자료를 찾아보고, 그 내용을 근거로 답변을 작성하게 하는 방식이다. 이 과정은 LLM의 정확도를 크게 높이고 근거 없는 답변을 줄이는 효과적인 방법으로 꼽힌다.

긴 문맥은 참고자료의 분량이 늘어난 것일 뿐이다

긴 문맥 모델의 등장은 오픈북 시험 비유에서 참고할 수 있는 책의 분량이 늘어난 것에 해당한다. 하지만 책 전체를 시험장에 들고 들어갈 수 있다고 해서, 질문과 관련 없는 부분까지 전부 읽는 것이 효율적인 것은 아니다. 오히려 불필요한 정보가 많아질수록 정답을 찾는 과정이 더 복잡해질 수 있다. 검색을 통해 관련 있는 부분만 먼저 추려내는 과정은 문맥이 길어진 지금도 여전히 의미가 있다.

실제 팁: 긴 문맥 시대에도 RAG가 필요한 이유

비용 효율성을 고려해야 한다

긴 문맥을 처리하려면 그만큼 많은 컴퓨팅 자원이 필요하고, 이는 API 사용 비용으로 그대로 이어진다. 간단한 질문 하나를 처리하는 데도 매번 방대한 문맥을 전달한다면 비용이 눈에 띄게 늘어난다. RAG는 질문과 관련된 핵심 문서 몇 개만 먼저 찾아 전달하므로, 상대적으로 빠르고 저렴하게 답변을 얻을 수 있다.

문맥 중간의 정보가 무시되는 문제를 보완한다

여러 연구에 따르면 LLM은 긴 문맥의 모든 부분에 동일한 주의를 기울이지 못하는 경향이 있으며, 특히 문맥 중간에 위치한 정보가 상대적으로 소홀히 다뤄질 수 있다. RAG는 가장 관련성 높은 정보를 검색해서 모델이 잘 주목하는 위치에 배치할 수 있게 해준다. 중요한 내용을 미리 추려서 앞쪽에 배치하는 것만으로도 답변의 정확도를 높이는 데 도움이 된다.

확장성과 실시간 정보 반영에 유리하다

아무리 긴 문맥이라도 그 크기는 유한하다. 내부 문서가 수백만 건에 이르는 조직이라면 어떤 모델의 문맥 창에도 전부 담을 수 없다. RAG가 참조하는 외부 데이터베이스는 필요에 따라 계속 확장할 수 있고, 문서를 추가하거나 수정하면 다음 검색부터 곧바로 반영된다. 긴 문맥 방식으로는 정보가 바뀔 때마다 프롬프트 전체를 다시 구성해서 전달해야 하는 부담이 남는다.

출처 추적과 접근 제어가 쉬워진다

RAG는 검색 단계가 답변 생성 단계와 분리되어 있어서, 어떤 문서를 근거로 답변이 만들어졌는지 함께 보여주기 쉽다. 답변의 출처를 함께 제시하면 사용자가 내용을 검증하기 수월해진다. 또한 검색 단계에서 사용자의 권한을 확인해 허가된 문서만 검색되도록 제한하는 방식으로 접근 제어를 구현할 수 있다. 하나의 거대한 문맥에 모든 정보를 넣는 방식으로는 이런 세밀한 제어가 훨씬 어렵다.

주의사항

RAG와 긴 문맥은 서로 대립하는 기술이 아니라 함께 쓰일 때 시너지를 내는 경우가 많다. RAG로 관련성 높은 문서 여러 개를 먼저 추려낸 뒤, 이를 긴 문맥 창에 담아 모델이 더 풍부한 맥락에서 답변을 만들게 하는 방식이 실무에서 자주 쓰인다.

RAG 시스템의 성능은 검색 단계의 품질에 크게 좌우된다는 점도 유의해야 한다. 검색기가 질문과 관련 없는 문서를 가져오면, 아무리 성능이 좋은 모델이라도 좋은 답변을 만들기 어렵다. 하이브리드 검색이나 리랭킹처럼 검색 품질을 높이는 방법에 대한 관심은 여전히 중요하다.

정리

긴 문맥 LLM은 AI 기술의 분명한 발전이지만 RAG를 대체하는 기술은 아니다. RAG는 비용과 성능, 확장성 문제를 보완하고, 실시간 정보 반영과 출처 추적, 접근 제어처럼 실제 서비스 운영에 필요한 기능을 함께 제공한다. 앞으로의 AI 시스템은 RAG와 긴 문맥 중 하나를 선택하기보다, RAG로 핵심 정보를 효율적으로 추려내고 긴 문맥으로 그 정보를 종합적으로 이해하는 방식을 함께 활용하는 방향으로 발전할 가능성이 크다.