Introduction to Solar

PreviousCapabilities of LLM NextIntroduction to Embedding

Last updated 23 days ago

Introduction to Solar

📌 목차

Solar 를 사용해야 하는 이유
- Solar Mini vs Solar Pro
LLM 구성요소
Demo: Playground에서 Solar 써보기
Prompt Engineering 이란?

1. Solar 를 사용해야 하는 이유

업스테이지의 Solar는 누구나 쉽게 활용할 수 있도록 설계된 고성능 LLM 입니다.

업스테이지는 다양한 사용자 니즈를 충족시키기 위해 Solar Mini와 Solar Pro 두 가지 모델을 제공합니다. 각 모델은 사용자의 환경과 필요에 맞춰 최적화되어 있으며, 실제 비즈니스 환경에서 활용할 수 있도록 설계되었습니다.

🤖 Solar Mini: 컴팩트하지만 강력한 성능

Solar Mini는 소형 LLM이지만, 빠르고 강력한 성능을 제공합니다.

Why Solar Mini

✔ 실시간 AI 서비스에 적합한 빠른 처리 속도

✔ 온디바이스(On-device) 실행 가능하여 사용자의 로컬에서 바로 AI 활용 가능

✔ 최적화(Tuning)가 비교적 쉬워 특정 도메인이나 서비스 맞춤형 적용 가능

✔ GPU 자원 절약으로 비용 절감 및 효율적 운영 가능

💡 Solar Mini는 가볍지만, 강력한 자연어 처리 기능을 제공하며 다양한 환경에서 유연하게 활용할 수 있습니다.

🤖 Solar Pro: 단일 GPU에서 최고의 성능을 제공하는 LLM

"The most intelligent LLM on a single GPU."

Solar Pro는 70B+ 모델 수준의 성능을 단일 GPU에서 구현하는 강력한 LLM입니다.

다국어 지원, 도메인 특화 지식 등 기업 환경에서의 실질적인 요구사항을 충족하도록 설계되었습니다.

Why Solar Pro

✔ 단일 GPU에서 70B+ 모델 수준의 성능 제공

✔ 영어뿐만 아니라 한국어와 일본어에서도 높은 성능을 보이는 다국어 모델

✔ 금융·의료·법률 등 전문적인 분야에서 높은 성능 발휘

💡 Solar Pro는 고성능을 바탕으로 기업이 신뢰할 수 있는 AI 솔루션을 제공하며, 복잡한 전문적인 데이터를 다루는 다양한 산업에서 활용될 수 있습니다.

결론

✔ Solar Mini는 가벼운 AI 솔루션이 필요한 경우에 적합

✔ Solar Pro는 더 좋은 성능의 서비스가 필요하거나 금융·법률·의료 도메인 특화 AI가 필요한 경우에 적합

2. LLM 구성요소

이제 본격적으로 LLM을 활용하기 이전에 핵심 구성 요소와 설정 시 고려해야 할 사항을 이해하는 것이 중요합니다.

💡 LLM 구성 요소

1️⃣ User Input (사용자 입력)

정의: 사용자가 LLM에게 보내는 질문이나 요청
예시:
- "오늘 서울의 날씨는 어떤가요?"

2️⃣ Prompt (프롬프트)

정의: AI 모델에게 입력 질문과 함께 제공하는 지시사항 또는 답변 생성을 돕는 예제들
예시:
- 지시사항 : 당신은 날씨 전문가입니다. 사용자가 원하는 지역의 날씨를 알려주세요. 친절한 톤으로 아래 형식에 맞추어 작성해주세요.
- 형식 : 오늘 '원하는 지역'의 날씨는 '다음고 같고, xx도' 입니다"
- 예제: 오늘 뉴욕은 비가 오고 기온은 12도입니다.

3️⃣ Output (출력)

정의: LLM이 사용자 입력과 프롬프트를 기반으로 생성한 답변
예시:
- "오늘 서울은 맑고 기온은 25도입니다."

🔍 LLM 사용 시 고려사항

LLM을 효과적으로 활용하려면 출력 길이와 응답 스타일 조절 등의 요소를 이해하는 것이 중요합니다.

Max Tokens (최대 output 토큰 수)
- 정의: 모델이 생성할 수 있는 응답(output)의 최대 길이(토큰 단위)를 설정하는 값
- ❓토큰(Token)이란?
  - LLM은 문장을 "단어(word)"가 아닌 "토큰(Token)" 단위로 처리합니다.
  - 토큰은 한 단어, 관사, 심지어 문장 부호까지 포함될 수 있습니다.
  - 예를 들어, "안녕하세요. 만나서 반갑습니다."
    ["안녕", "하세요", ".", "만나", "서", "반갑", "습니다", "."]
    위 문장은 8개의 토큰으로 분리됩니다.
    이러한 토큰을 분리하는 방식은 LLM 모델마다 상이합니다.
- 🚨 주의 사항
  - Max Tokens는 생성되는 응답의 길이를 제한합니다.
  - 16,000(16k) 토큰이 최대 출력 제한입니다.
  - 이 범위 내에서만 응답을 생성할 수 있습니다.
- 💡 Tip!
  - 원하는 응답의 길이를 고려하여 Max Tokens 값을 적절히 조정하세요!
  - 더 정교하고 간결한 답변을 원할 때는 값을 줄이고, 상세하고 긴 답변이 필요할 때는 값을 늘리는 것이 좋습니다.
    예제: 제품의 장점을 강조하는 마케팅 문구를 50자 이내로 작성해줘. (Max Tokens = 50)
  - 너무 적게 설정하면 응답이 중간에 끊길 수 있고, 너무 길게 설정하면 불필요하게 긴 응답이 나올 수 있습니다.
    예제: AI 기술 트렌드를 주제로 보고서를 작성해줘 (Max Tokens = 10000)
Temperature (창의성 조절 값)
- 정의: 모델의 출력 다양성과 창의성을 조절하는 값으로 0과 1사이로 설정됩니다.
- 💡 Tip!
  - 값이 낮을수록 (0에 가까울수록) 정확하고 예측 가능한 응답을 생성합니다.
    Hallucination(환각) 없이 정확한 정보가 필요한 경우에 적합합니다.
    예시: 기술 문서, 데이터 분석, 객관적인 설명 등
    예제: "AI 기술의 현재 트렌드와 기업 활용 사례를 분석하는 보고서를 작성해줘." (Temperature = 0.2)
  - 값이 높을수록 (1에 가까울수록) 창의적이고 독창적인 응답을 생성합니다.
    새로운 아이디어, 유머, 스토리텔링 등 창의성을 요구하는 작업에 적합합니다.
    예시: 마케팅 문구, 소설 작성, 브레인스토밍 등
    예제 :"제품의 강점을 강조하는 마케팅 문구를 아이데이션해줘." (Temperature = 0.8)

이제 본격적으로 Solar LLM을 사용하러 가봅시다!

3. 🛠️ Demo: Playground에서 Solar 써보기

Upstage Console Playground란?

업스테이지가 제공하는 실시간 LLM 챗봇 환경
Solar 모델을 활용하여 텍스트 생성, 문서 요약, 번역 등 다양한 작업을 실험 가능
개발자뿐만 아니라 비개발자도 쉽게 사용할 수 있도록 설계

📌 실습 목표

Playground에 접속하여 Solar 모델을 실행해본다
간단한 프롬프트를 입력하고, 결과를 확인한다
max tokens, temperature 등의 요소를 바꾸어가며 LLM에 익숙해진다.

💡 실습 진행 방법

Playground 접속하기

모델 선택하기 : 화면 상단에서 Solar Mini 또는 Solar Pro 모델을 선택할 수 있습니다.

시스템 프롬프트 입력하기 : 텍스트 입력란에 원하는 프롬프트를 입력합니다.

파라미터 조정하기

Max Tokens: 생성될 텍스트의 최대 길이를 설정합니다.
Temperature: 값이 높을수록 출력의 다양성이 증가하며, 낮을수록 보수적인 응답을 생성합니다.

User Input 입력하기 : 실제 AI에게 답변을 원하는 질문을 입력합니다.

응답 확인 및 비교하기

오른 쪽 화살표 Submit 버튼을 눌러 모델의 응답을 확인합니다.
같은 프롬프트를 다른 모델(Solar Mini와 Pro)로 실행하거나 Temperature을 바꾸어가며 응답의 차이를 비교해봅니다.

Solar를 활용해보셨나요~? 이제 프롬프트를 효과적으로 작성하는 방법을 알아보겠습니다.

4. Prompt Engineering 이란?

Prompt Engineering은 LLM이 더 정확하고 유용한 응답을 생성하도록 최적의 프롬프트를 설계하는 기술입니다.

쉽게 말해, AI에게 어떤 방식으로 질문을 해야 원하는 답을 얻을 수 있는지 연구하고 최적화하는 과정입니다.

올바른 프롬프트를 사용하면 AI가 더 정확하고 유용한 답변을 생성할 수 있으며, 업무 생산성을 높이고 효율적인 AI 활용이 가능합니다.

이처럼 프롬프트를 설계할 때 고려해야 할 핵심 프롬프트 디자인 가이드를 소개합니다.

💡 좋은 프롬프트 작성법

명확하고 구체적인 지시 제공
AI가 정확한 답변을 제공하려면 요청을 명확하고 구체적으로 작성해야 합니다.
❌ "어디로 여행을 가면 좋을까?"
⭕ 8월에 자연 경관이 아름다운 해외 여행지 3곳을 추천해줘."
컨텍스트 추가하기
추가적인 정보를 제공하면 AI가 문맥을 더 잘 이해하고, 원하는 답변을 생성할 가능성이 높아집니다.
❌"우리 회사의 SNS 광고 문구를 만들어줘."
⭕"우리 회사는 'Solar LLM'이라고 하는 비즈니스 AI 솔루션을 가지고 있어. 이를 홍보할 50자 이내의 LinkedIn/Twitter 광고 문구를 작성해줘. 강력한 성능과 비용 절감을 강조해줘."
역할 부여하기
AI에게 특정 역할을 설정하면 더 전문적이고 정교한 답변을 얻을 수 있습니다.
❌ "나한테 주식 투자 조언을 해줘."
⭕ "당신은 금융 전문가입니다. 2024년 시장 전망을 바탕으로 장기 투자 전략을 제안해주세요"
원하는 출력 형식 지정하기
리스트, 표, JSON 등 원하는 응답 형식을 미리 지정하면 일관된 결과를 얻을 수 있습니다.
❌ "이번 달 예산 계획을 세워줘."
⭕ "이번 달 예산 계획을 카테고리(식비, 교통비, 여가비 등)별로 표 형식으로 정리해줘"
예시 제공하기
AI가 원하는 방향으로 응답하도록 유도하려면 원하는 출력 예시를 포함하는 것이 효과적입니다.
"광고 문구를 만들어줘."
⭕ "이전 광고 문구: ‘지금 가입하면 20% 할인!’ 이와 비슷한 느낌의 새로운 프로모션 문구를 만들어줘."
복잡한 요청은 단계별로 정리하기
하나의 요청을 여러 단계로 나누면 AI가 더 논리적으로 답변할 수 있습니다.
❌ "내 이력서를 기반으로 자기소개서를 영어로 작성해줘."
⭕ "[1단계] 내 이력서에서 주요 경력을 요약해줘 → [2단계] 해당 경력을 강조하는 자기소개서를 500자 이내로 작성해줘. → [3단계] 작성된 자기소개서를 영어로 번역하고 윤문해줘"

💬 프롬프트 예시

❌ 잘못된 프롬프트 예시

"신제품 출시 마케팅 전략을 세워줘."

AI가 제공할 수 있는 전략의 범위가 너무 넓고, 목표 시장, 예산, 마케팅 채널 등이 불명확하여 원하는 답변을 얻기 어려울 수 있습니다.

⭕ 좋은 프롬프트 예시

[역할 부여] 당신은 글로벌 마케팅 컨설턴트입니다.
[컨텍스트 추가]
AI 기반 고객 지원 솔루션을 개발한 스타트업이 신제품을 출시하려고 합니다. 주요 고객은 중소기업이며, 제한된 예산 내에서 최대한 많은 기업을 유치하는 것이 목표입니다.
아래 정보를 참고하여 신제품 출시를 위한 6개월간의 마케팅 전략을 수립하세요.
목표 시장: 북미, 유럽
마케팅 예산: 50만 달러
주요 채널: 링크드인 광고, 구글검색 광고, 이메일 마케팅
목표: 초기 3개월 내 500개 기업 가입 유치
[출력 형식 지정] 출력 형식을 다음과 같이 구성해주세요.
시장 분석: AI 고객 지원 시장 트렌드와 주요 경쟁사를 테이블 형태로 비교해주세요.
마케팅 전략: 초기 3개월과 후속 3개월로 나누어 실행 방안 제시
예산 분배 계획: 마케팅 채널별 예산 할당 (%)
성과 측정 지표 (KPI): 광고 클릭률, 신규 고객 수, 웹사이트 방문자 수
[예제 추가] 지난기수 마케팅 전략 문서 중 일부 발췌 샘플 첨부
반드시 위의 형식을 준수하여 답변을 작성하세요.