Capabilities of LLM

📌 목차

• LLM은 무엇을 잘하고, 무엇을 못할까요?

• LLM Task 분석

• LLM 비즈니스 유즈케이스

• LLM 한계 및 주의사항

Introduction

LLM은 자연어를 이해하고 생성하는 인공지능 모델로, 확률적 예측을 통해 텍스트를 생성합니다.

LLM은 Next Token Prediction(다음 단어 예측) 원리를 기반으로 문장을 생성하며, 번역, 요약, 질의응답 등의 작업을 수행할 수 있습니다.

1. LLM은 무엇을 잘하고, 무엇을 못할까요?

LLM은 강력한 언어 처리 능력을 갖추고 있지만, 모든 작업을 완벽하게 수행하는 것은 아닙니다.

LLM이 잘하는 일과 그렇지 않은 일을 구분하여 이해하는 것이 중요합니다.

🙂 LLM이 잘하는 것

• 자연어 이해 및 생성

• 코드 작성 및 디버깅 지원

🙁 LLM이 어려움을 겪는 것

• 논리적 추론이 필요한 문제 해결

• 긴 대화에서의 맥락 유지 어려움

2. LLM Task 분석

LLM이 수행할 수 있는 Task와 어려움을 겪는 Task를 조금 더 구체적으로 분석해보겠습니다.

🙂 LLM이 잘 수행하는 Task

✔ 자연어 처리(NLP) 전반

Task (한글/영어)	정의	설명
텍스트 생성 (Text Generation)	텍스트를 새로 만들어내는 작업	블로그 글, 광고 문구, 스토리, 이메일 초안 작성
문서 요약 (Summarization)	긴 문서를 짧고 핵심적으로 요약	뉴스, 논문, 회의록 자동 요약
기계 번역 (Machine Translation)	한 언어에서 다른 언어로 변환	문맥을 고려한 자연스러운 다국어 번역
질의응답 (Question Answering, QA)	질문에 대한 답을 찾아 제공	문서에서 정보 검색 & 자동 답변 생성
텍스트 분류 (Text Classification)	텍스트를 특정 카테고리로 분류	감정 분석(긍/부정), 이메일 스팸 탐지
문법 교정 (Grammar Correction)	텍스트 내 문법/맞춤법 오류 수정	문법 오류 자동 감지 및 교정기

✔ 코드 관련 작업

• 코드 자동 완성 (예: 함수 코드 작성)

• 코드 디버깅 지원 (예: 오류 코드 분석 및 해결 방법 추천)

🙁 LLM이 수행하기 어려운 Task

✖ 장기간 맥락 유지 (Long-form Context Tracking)

• 긴 문서나 대화에서 일관된 문맥을 유지하는 것에 한계가 있음

✖ 고차원적 논리 추론 (Logical Reasoning)

• 수학 문제 풀이 등 논리적 사고가 필요한 작업은 어려울 수 있음

✖ 다양한 데이터 형식 이해 (Non-textual Data Processing)

• 이미지, 음성과 같은 비텍스트 데이터를 직접 처리하기 어려움

• 단, 멀티모달 AI (Multimodal AI)로 다른 기술과 결합하면 가능해짐

3. LLM 비즈니스 유즈케이스

LLM은 다양한 산업에서 적용될 수 있습니다.

여기서는 주요 3가지 산업에서의 활용 사례를 살펴보겠습니다.

1) ⚖️ 법률 (Legal): 법률 문서 자동화로 업무 효율 향상

• 대상: 법무팀

• 문제점: 방대한 법률 자료와 문서를 검토하는 데 시간이 많이 소요됨. 또한, 인력 부족과 복잡한 협업 과정으로 인해 생산성이 저하됨.

• 솔루션: Upstage Solar LLM을 활용하여 법률 자료와 판례를 신속하게 분석하고 복잡한 문서를 자동으로 요약하는 솔루션을 개발함. 이를 통해 문서 검토 시간을 단축하고 업무 효율성 제고.

2) 🏦 금융 (Finance): 금융 업무에 특화된 AI 솔루션

• 대상: 금융사

• 문제점: 매일 수백 건의 보고서, 회의록, 규정 문서를 처리해야 함. 수작업으로 문서를 처리하다 보면 정보 오류나 보고 지연이 발생할 수 있으며, 보안과 규제 요건을 충족하는 것도 어려움.

• 솔루션: Upstage Solar LLM 기반의 금융 전용 AI 솔루션은 보고서 자동 작성, 회의록 요약, 규제 문서 검색 등을 지원함. 이를 통해 문서 처리 업무의 효율성을 크게 개선하고, 정확성을 높일 수 있음.

3) 💊 헬스케어 (Healthcare): 퇴원 기록지 작성 자동화

• 대상: 종합병원

• 문제점: 입원부터 퇴원까지 다양한 진료 기록과 검사 결과를 수작업으로 정리해야 해 의료진의 업무 부담이 크고, 의료 인력이 제한된 상황에서 업무 효율을 높이기가 어려움.

• 솔루션: Upstage의 헬스케어 특화 AI 모델은 입원 초진, 검사 결과, 입원 경과 기록 등 여러 문서를 자동으로 분석해 요약함. 이를 통해 퇴원 기록지 작성 과정을 간소화하고, 의료진의 업무 부담을 줄일 수 있음.

이처럼 LLM은 다양한 산업에 활용될 수 있지만, 만능이 아닙니다.

4. LLM의 한계 및 주의사항

LLM을 사용할 때 몇 가지 주의해야 할 사항이 있습니다. 특히 모델의 한계를 이해하고 적절한 보완 전략을 활용하는 것이 중요합니다.

⚠️ 1) Hallucination (환각 현상)

LLM은 때때로 존재하지 않는 정보를 만들어내거나, 사실이 아닌 내용을 사실처럼 생성하는 현상을 보입니다. 이를 “Hallucination(환각)"이라고 합니다.

이는 LLM이 확률 기반 모델로 작동하기 때문입니다. 즉, 학습된 데이터 내에서 가장 가능성이 높은 답변을 생성하지만, 실제 존재하지 않는 정보도 그럴 듯하게 만들어낼 수 있습니다.

따라서, 중요한 정보나 의사결정이 필요한 상황에서는 반드시 검증 과정이 필요합니다.

📌 특징:

• 데이터에 없는 내용도 자연스럽게 생성할 수 있음.

• 존재하지 않는 출처나 가짜 정보를 포함할 가능성이 있음.

• 논리적으로 틀린 정보도 자연스러운 문장으로 표현될 수 있음.

🔍 예시

• 존재하지 않는 연구 논문 생성: "MIT 연구진이 2023년에 발표한 논문에 따르면..." (실제로 존재하지 않는 논문)

• 허위 인물 정보 제공: "OO 박사는 2022년 AI 연구로 노벨상을 받았습니다" (실존하는 인물 아님)

• 역사적 사실 왜곡: "대한민국은 1800년에 독립했습니다" (잘못된 정보)

✅ 해결 방법

• 사실 확인 필수: LLM이 제공하는 정보는 반드시 신뢰할 수 있는 출처를 검증해야 함.

• 참조할 데이터 제공: 외부 문서나 데이터베이스를 연결하여, 신뢰할 수 있는 정보를 기반으로 답변하도록 설정해야함. 이를 RAG (Retrieval-Augmented Generation) 방법론이라고 부름.

• 인공지능 피드백 루프 활용: 여러 개의 AI 모델을 활용해 응답을 비교 검토하여 신뢰도를 높이는 방법 적용.

LLM은 사실이 아닌 내용도 그럴듯하게 만들어낼 수 있습니다.

⚠️ 2) Knowledge Cutoff (지식 한계)

LLM은 특정 시점까지 학습된 데이터만을 기반으로 작동하기에, 그 이후의 새로운 정보는 반영되지 않는 한계(Knowledge Cutoff)가 존재합니다.

📌 특징:

• 모델이 학습된 시점 이후의 사건, 인물, 기술 등을 알지 못함.

• 최신 뉴스나 트렌드를 반영하지 못하고, 과거 정보만을 제공할 가능성이 있음.

• "잘 모르겠습니다"라고 답하지 않고, 틀린 정보를 만들어낼 수도 있음.

🔍 예시:

• 새로운 법률이나 규정: "2024년 개정된 세법에 대해 알려주세요" (최신 개정 내용을 반영할 수 없음)

• 신제품 정보: "아이폰 15의 새로운 기능은 무엇인가요?" (모델 학습 이후 출시된 제품 정보를 모름)

✅ 해결 방법:

• 최신 데이터와 연계: 실시간 검색 기능(Web Browsing)이나 외부 데이터베이스를 활용하여 최신 정보 반영 가능.

• 정기적인 모델 업데이트: 새로운 데이터로 모델을 재학습하여 최신 정보 반영 가능.

LLM은 최신 정보가 반영되지 않을 수 있습니다.

⚠️ 3) 개인정보 및 민감한 정보 보호

LLM을 사용할 때 개인정보나 민감한 정보를 입력하는 것은 매우 위험할 수 있습니다.

개인 정보가 포함된 데이터를 무분별하게 입력하면, 데이터 유출 위험이 발생할 수 있으며, AI 모델이 민감한 정보를 학습할 가능성도 존재합니다.

📌 특징:

• AI 모델은 입력된 데이터를 저장하거나 학습할 수 있음 → 민감한 정보가 LLM의 응답에 포함될 가능성이 있음.

• 금융 정보, 건강 정보, 기업 기밀 등 중요한 데이터를 직접 입력하면 안 됨 → 조직 내부 기밀이 유출될 수 있음.

🔍 예시:

• 고객 상담 데이터 입력 시 개인정보 포함 여부 확인 ("이 고객의 주민등록번호는 123456-1234567입니다. 해당 계좌 정보를 확인해 주세요.")

• 기업 내부 문서/코드 분석 요청 금지 ("우리 회사의 기밀 문서를 AI에게 입력하여 요약해 주세요.", “회사 내부의 코드를 AI에게 입력하여 수정해주세요”)

✅ 해결 방법:

• 개인정보 비식별화(Anonymization) 적용 :이름, 주민등록번호 등 개인 정보가 포함되지 않도록 필터링하기. (이름 : 김ㅇㅇ, 주민등록번호 : 9xxxxx-2xxxxx)

• 사내 데이터 보호 정책 적용 : 기업 내부에서 AI 활용 시 보안 프로토콜 마련하기.

• 보안이 강화된 AI 솔루션 사용 : 사내에서만 활용할 수 있는 Private LLM을 활용하여 외부로 데이터가 유출되지 않도록 설정하기.

당신의 중요한 정보를 AI에게 입력하지 마세요! 🔒

이처럼 LLM은 Hallucination, Knowledge Cutoff, 개인정보 보호 문제 등 중요한 한계를 가지고 있습니다.

Wrap Up

이번 글에서는 LLM의 능력과 한계, 수행할 수 있는 Task, 비즈니스 유즈케이스, 그리고 사용 시 주의해야 할 사항을 살펴보았습니다.

🔹 LLM이 잘 수행하는 Task : 전반적인 자연어 처리 작업과 코드 작성 및 처리에 강점이 있음.

🔹 LLM이 수행하기 어려운 Task : 긴 문서에서의 맥락 유지, 논리적 추론 등 일부 한계 존재.

🔹 LLM 비즈니스 유즈케이스 : 금융, 법률, 헬스케어 등 다양한 산업에서 활용 가능.

🔹 LLM 활용 시 주의사항 : Hallucination, Knowledge Cutoff, 개인정보 보호 등의 한계를 이해하고 신중하게 적용해야 함.

---

Suwan Kim | AI Edu | Upstage