Introduction to Document Parse

📌 목차

Upstage Document Parse 란 ?
Document Parse의 중요성
Document Parse : LLM의 눈
Document Parse 비즈니스 유즈케이스
Demo: Playground에서 DP 써보기

Upstage의 Document AI 기술은 기존 OCR을 넘어선 고도화된 문서 처리 기능을 제공합니다.

특히 Upstage Document Parse (DP)는 문서의 레이아웃을 분석하여 보다 정확한 문서 이해 및 정보 추출이 가능합니다.

1. Upstage Document Parse 란 ?

LLM은 다양한 외부 문서 정보를 참조하여 정확도를 높이지만, 원본 문서 파일을 직접 읽고 처리할 수 없습니다. 이를 해결하기 위해 문서를 LLM이 읽을 수 있는 형식(HTML, Markdown)으로 변환하는 과정이 필요합니다.

Document Parse(DP)는 복잡한 문서를 HTML 형태의 텍스트 데이터로 변환하는 기술입니다.

2. Document Parse의 중요성

✨ Upstage DP만의 강점 : 다양한 문서 레이아웃 인식

Upstage Document Parse는 단순한 텍스트 추출을 넘어, 문서의 레이아웃 단위로 인식하여 보다 깊이 있는 정보 분석을 가능하게 합니다. 기존 OCR은 이미지 내 텍스트 인식에 국한되지만, DP는 문서의 레이아웃을 고려하여 보다 정교하게 정보를 분석하고 제공합니다.

Table Recognition
- 병합된 셀, 계층적 구조 등 복잡한 표도 정확하게 인식하여 정확하고 일관된 데이터로 변환함.
- 데이터 무결성을 보장하여, LLM이 표의 의미를 정확히 이해할 수 있도록 지원.
Equation Recognition
- 수식(Equation)을 정확히 인식하여 LLM이 수학적 관계나 계산을 이해하도록 지원.
Chart Recognition
- 차트 데이터를 분석해 LLM이 정확히 해석할 수 있도록 구조화된 형태로 변환.
- 바, 선, 원형 차트까지 다양한 형태를 지원.

⚡ 빠르고 정확한 성능

고속 처리 능력
- 100페이지 문서도 1분 이내에 처리함.
- 경쟁사 대비 최대 10배 빠른 처리 속도.
정확성
- TEDS(93.48) 및 TEDS-S(94.16) 기준, 주요 경쟁사 대비 5% 이상 높은 정확도를 보장.
- 복잡한 표나 차트에서도 뛰어난 인식률을 제공.

3. Document Parse : LLM의 눈

그 이유는 LLM(대형 언어 모델)이 문서를 더 잘 이해하고 정확하게 처리하도록 돕기 위해서입니다.

📚 1. 문서의 "구조"를 명확하게 전달하기 위해

원본 문서는 텍스트, 표, 차트, 수식, 이미지 등 다양한 구조적 요소로 구성되어 있습니다.

LLM은 문서의 구조를 인식할 때 더 정교한 처리가 가능하지만, 단순 텍스트로만 제공되면 이러한 구조를 인식하기어렵습니다.

HTML은 <h1>, <figure>, <table>과 같은 태그를 통해 문서의 계층과 관계를 명확히 구분해 줍니다.

⚙️ 2. LLM의 정확도와 효율성을 높이기 위해

LLM은 구조화된 데이터를 통해 더욱 빠르고 정확하게 내용을 파악합니다.

HTML은 문서의 구조를 명확히 제시하여 LLM이 어느 부분이 제목, 본문, 표, 차트인지 쉽게 인식하도록 돕습니다.

결과적으로, 요약, 분석, 질의응답 처리가 훨씬 정확하고 일관되게 이루어집니다.

🚀 3. 복잡한 문서에서 정보 손실을 막기 위해

재무제표, 논문, 보고서처럼 복잡한 문서는 단순히 텍스트만 추출하면 중요한 구조적 정보가 손실될 수 있습니다.

HTML은 표, 차트, 수식 등을 정확히 구분해 주기 때문에 LLM이 정보를 더 정확히 해석할 수 있습니다.

특히, LLM을 이용해 문서 분석, 데이터 요약, 정보 추출을 할 때 정보 손실을 최소화할 수 있습니다

💡 Eyes of LLM

Upstage Document Parse는 LLM의 눈이 되어 복잡한 데이터를 효율적으로 분석하고 제공합니다.

예를 들어, Apple의 재무제표를 Document Parse를 통해 HTML 형태로 변환하여 LLM에게 제공 후 제품 매출에 대해서 물어보면, 테이블 정보를 기반하여 정확하게 매출액을 답변해주는 것을 확인할 수 있습니다.

DP는 HTML 형태의 아웃풋을 통해 문서의 구조와 레이아웃을 인식하여, 복잡한 표와 차트 구조까지 자동으로 정확하게 LLM에게 전달하여 문서/데이터 기반 분석이 가능하게 합니다. 즉, 문서 기반의 데이터 추출과 자동화된 워크플로우 구축이 가능합니다.

여기서 이 워크플로우를 RAG(Retrieval-Augmented Generation)라고 부릅니다.

RAG란, LLM이 외부 정보를 참고할 수 있도록 제공해주는 방법론입니다.

LLM이 모든 정보를 미리 알고 있지는 않기 때문에, 필요한 정보를 외부에서 찾아(검색하여) LLM에게 제공해주면, LLM은 그 정보를 바탕으로 더 정확한 답변을 할 수 있습니다.

4. Document Parse 비즈니스 유즈케이스

1/ 🏥 보험 (Insurance): 클레임 문서 처리 자동화 및 효율화

대상: 보험사
Problem:
- 매일 수백 건의 의료청구서, 사고보고서 등 서로 다른 유형의 클레임 문서와 이미지를 대량으로 수신하고 있음.
- 기존 OCR 솔루션은 복잡한 의료 용어와 비정형 문서 구조로 인해 정확한 인식에 어려움이 있음.
Solution:
- Upstage Document Parse와 Solar LLM을 결합해 다양한 문서 형식을 정확하게 인식하고, 필요한 정보를 자동으로 분류·정리함.
- Upstage Document Parse를 통해 기존 OCR 솔루션이 어려웠던 복잡한 데이터까지 폭넓게 처리하여 더 정밀한 인식과 효율적인 정보 추출이 가능함.
- Solar LLM을 활용해 빠르고 정확하게 필요한 정보를 검색할 수 있어, 클레임 문서 처리 효율성을 크게 개선함.

2/ 🏗️ 건설 (Construction): 글로벌 입찰문서 RAG 파이프라인 구축

대상: 건설사
Problem:
- 전 세계에서 수신되는 입찰 초대 문서와 부속 자료들이 수백 개 폴더에 분산되어 있음.
- 다국어로 작성된 수천 장의 문서를 단순 검색으로는 핵심 정보를 신속하게 찾기 어려움.
- 수작업으로 문서를 분석하던 기존 방식은 전체 문맥 파악에 한계가 있어, 입찰 전략 수립과 글로벌 경쟁력 강화에 장애가 됨.
Solution:
- Document Parse로 방대한 입찰 문서를 자동으로 전처리하여, 문서 내 영역을 세밀하게 분할하고 핵심 정보를 정확히 추출함.
- 추출된 데이터는 체계적으로 정리하고, Solar LLM 기반 챗봇을 통해 사용자가 문서 내용을 쉽게 질의하고 답변 받을 수 있도록 지원함.
- 이를 통해 입찰 문서 관리와 분석 효율성을 극대화하고, 글로벌 입찰 경쟁력을 강화.

3/ 👗 이커머스 (E-commerce): 상품 정보 처리 자동화 및 글로벌 확장 지원

대상: 패션 이커머스사
Problem:
- 플랫폼에 업로드되는 상품 정보가 세로로 긴 이미지 형태로 관리되어 왔지만, 기존 OCR 및 Parser는 이미지를 resize하ㅡ는 과정에서 해상도 저하로 인식 성능이 제한적이었음.
- 또한, 다국어(한국어, 영어, 일본어) 지원이 어려워 해외 시장 진출에 제약이 있었고, 상품 속성 데이터가 제대로 정리되지 않아 검색과 필터링 기능도 제한적이었음.
- 수작업 검수로 인한 운영 부담도 지속적으로 증가하고 있었음.
Solution:
- Document Parse를 통해 이미지 내 영역을 세분화하여 인식 정확도를 대폭 향상시킴. 또한, 구조화된 데이터는 검색 엔진 인덱싱에 활용되어 사용자가 빠르고 정확하게 상품을 검색 가능하게 함.
- Solar LLM을 활용해 상품의 속성 정보를 정확히 추출하고, 다국어 번역까지 지원하여 해외 판매 채널 운영을 원활하게 함. 또한, 다국어 상품 정보를 체계적으로 정리하여 글로벌 고객들도 손쉽게 원하는 상품을 찾을 수 있도록 지원함.