문서를 “이해”하는 AI: LLM + OCR 기능을 기획하며

Image Reference: koncile.ai

 

요즘 "문서 자동화", "AI 기반 분류", "OCR 기반 데이터 추출"이라는 말을 자주 듣습니다. 하지만 실제로 이 기능들을 제품에 녹여내는 과정은 생각보다 복잡하고, 정교한 기획이 필요합니다. 이번 글에서는 제가 PM으로 참여했던 LLM + OCR 기반 기능 기획 및 출시 경험을 공유해보려 합니다.

1. 문제 정의: 스캔한 문서 속 정보는 쓸모가 없다?

우리는 매일같이 PDF 청구서, 영수증, 계약서를 다루지만, 이 문서들은 사람 눈으로만 읽을 수 있을 뿐, 시스템 입장에선 단순한 이미지입니다. 고객사 입장에서는 매번 수기로 내용을 작성해야 하는 번거로움이 있고 놓치는 실수도 많았습니다.

OCR만으로는 단순한 문자 추출밖에 할 수 없었고, 각 문서가 어떤 목적의 문서인지, 어떤 항목이 중요한지 파악하는 건 한계가 있었습니다.

 

2. 해결 방향: LLM + OCR의 조합

우리가 기획한 방향은 명확했습니다:

“OCR로 문서를 읽고, LLM으로 문서를 해석하자.”

이를 위해 다음과 같은 기능을 구성했습니다:

• OCR: 다양한 포맷의 스캔본에서 텍스트를 정확하게 추출
• 문서 분류 모델 (LLM 기반): 문서 유형을 자동으로 판단 (예: 영수증, 인보이스 등)
• 항목 추출 모델 (LLM 기반): 문서 내 핵심 항목 자동 추출 (금액, 날짜 등)
  
  

3. 확장 포인트: AI 문서 Q&A 및 검색 기능 (RAG)

문서를 읽고 추출하는 걸 넘어서, 문서 내에서 필요한 정보를 바로 찾는 기능에 대한 수요가 커졌습니다. 그래서 도입한 기능이 바로 강화된 RAG(Retrieval-Augmented Generation) 구조입니다.

핵심 목표는 이렇습니다:

“업로드된 문서를 벡터화하고, 이를 기반으로 검색과 질의응답이 가능한 인터페이스 제공”

구체적인 구성 요소는 다음과 같습니다:

• Vector Embedding: 문서 내용을 효율적인 embedding 모델로 벡터화
• Vector Database: Pinecone, Qdrant, Weaviate 등을 통해 대용량 문서 벡터 저장 및 검색
• 검색 기능:
  • 키워드 검색
  • 의미 기반 유사도 검색
  • 자연어 질문에 대한 답변 반환 (e.g. “이 인보이스의 만료일은 언제인가요?”)
• UI/UX: 필터와 함께 직관적인 검색창 제공
• 권한 제어: 검색 결과는 사용자 역할과 문서 권한에 따라 제한

이 기능을 통해 사용자는 더 이상 문서를 ‘찾고’, ‘열고’, ‘읽고’, ‘복사’할 필요 없이, 바로 원하는 정보를 얻을 수 있게 되었습니다.

 

기획자의 고민: “정확하게, 하지만 어렵지 않게”

기능을 기획하면서 가장 많이 고민했던 건 단순했습니다.

• 문서는 제각각인데, 어떻게 일관된 경험을 줄 수 있을까?
• AI가 틀릴 수도 있는데, 사용자가 믿고 쓸 수 있으려면?

이 고민 끝에 내린 결론은 “사용자에게 선택권을 주되, 최대한 자동으로 도와주는 것”이었습니다.

그래서 직접 문서 유형을 정의할 수 있게 했고, AI가 결과를 예측하되, 사용자가 수정하고 Smart Learn 연동을 통해 수정 내용을 학습할 수 있도록 만들었습니다. 결국 기획자는 기술보다 신뢰할 수 있는 경험을 설계하는 사람이라고 생각합니다.

효과: 사람이 하던 일을 AI가, 더 빠르게

이 기능을 통해 실제 고객사에서는 다음과 같은 변화를 체감했습니다:

• 문서 등록 시간 80% 단축
• 수기 입력 오류 50% 이상 감소
• 운영팀 대응 시간 50% 감소

특히, 회계/경비처리에서 OCR+LLM이 가장 빛을 발했습니다. 

 

✍️ 마무리하며

PM으로서 중요한 건 기술을 이해하는 것이 아니라, 기술로 문제를 해결하는 방식을 기획하는 것입니다. OCR과 LLM은 각자의 강점이 뚜렷하지만, 이 둘이 만나면 문서를 “이해”하는 AI를 만들어 사용자가 신뢰 할 수 있는 제품을 선보일 수 있었습니다.