Introduction to Solar

📌 목차

• Solar 를 사용해야 하는 이유

  • Solar Mini vs Solar Pro

• LLM 구성요소

• Demo: Playground에서 Solar 써보기

• Prompt Engineering 이란?

1. Solar 를 사용해야 하는 이유

업스테이지의 Solar는 누구나 쉽게 활용할 수 있도록 설계된 고성능 LLM 입니다.

업스테이지는 다양한 사용자 니즈를 충족시키기 위해 Solar Mini와 Solar Pro 두 가지 모델을 제공합니다. 각 모델은 사용자의 환경과 필요에 맞춰 최적화되어 있으며, 실제 비즈니스 환경에서 활용할 수 있도록 설계되었습니다.

🤖 Solar Mini: 컴팩트하지만 강력한 성능

• Solar Mini는 소형 LLM이지만, 빠르고 강력한 성능을 제공합니다.

Why Solar Mini

✔ 실시간 AI 서비스에 적합한 빠른 처리 속도

✔ 온디바이스(On-device) 실행 가능하여 사용자의 로컬에서 바로 AI 활용 가능

✔ 최적화(Tuning)가 비교적 쉬워 특정 도메인이나 서비스 맞춤형 적용 가능

✔ GPU 자원 절약으로 비용 절감 및 효율적 운영 가능

💡 Solar Mini는 가볍지만, 강력한 자연어 처리 기능을 제공하며 다양한 환경에서 유연하게 활용할 수 있습니다.

더 자세한 사항은 아래 블로그를 참고하세요! 🔗 Solar Mini 블로그 원문

🤖 Solar Pro: 단일 GPU에서 최고의 성능을 제공하는 LLM

"The most intelligent LLM on a single GPU."

Solar Pro는 70B+ 모델 수준의 성능을 단일 GPU에서 구현하는 강력한 LLM입니다.

다국어 지원, 도메인 특화 지식 등 기업 환경에서의 실질적인 요구사항을 충족하도록 설계되었습니다.

Why Solar Pro

✔ 단일 GPU에서 70B+ 모델 수준의 성능 제공

✔ 영어뿐만 아니라 한국어와 일본어에서도 높은 성능을 보이는 다국어 모델

✔ 금융·의료·법률 등 전문적인 분야에서 높은 성능 발휘

💡 Solar Pro는 고성능을 바탕으로 기업이 신뢰할 수 있는 AI 솔루션을 제공하며, 복잡한 전문적인 데이터를 다루는 다양한 산업에서 활용될 수 있습니다.

더 자세한 사항은 아래 블로그를 참고하세요! 🔗 Solar Pro 블로그 원문

결론

✔ Solar Mini는 가벼운 AI 솔루션이 필요한 경우에 적합

✔ Solar Pro는 더 좋은 성능의 서비스가 필요하거나 금융·법률·의료 도메인 특화 AI가 필요한 경우에 적합

2. LLM 구성요소

이제 본격적으로 LLM을 활용하기 이전에 핵심 구성 요소와 설정 시 고려해야 할 사항을 이해하는 것이 중요합니다.

LLM 구성ㅛㅗ

💡 LLM 구성 요소

1️⃣ User Input (사용자 입력)

• 정의: 사용자가 LLM에게 보내는 질문이나 요청

• 예시:

  • "오늘 서울의 날씨는 어떤가요?"

2️⃣ Prompt (프롬프트)

• 정의: AI 모델에게 입력 질문과 함께 제공하는 지시사항 또는 답변 생성을 돕는 예제들

• 예시:

  • 지시사항 : 당신은 날씨 전문가입니다. 사용자가 원하는 지역의 날씨를 알려주세요. 친절한 톤으로 아래 형식에 맞추어 작성해주세요.

  • 형식 : 오늘 '원하는 지역'의 날씨는 '다음고 같고, xx도' 입니다"

  • 예제: 오늘 뉴욕은 비가 오고 기온은 12도입니다.

3️⃣ Output (출력)

• 정의: LLM이 사용자 입력과 프롬프트를 기반으로 생성한 답변

• 예시:

  • "오늘 서울은 맑고 기온은 25도입니다."

🔍 LLM 사용 시 고려사항

LLM을 효과적으로 활용하려면 출력 길이와 응답 스타일 조절 등의 요소를 이해하는 것이 중요합니다.

• Max Tokens (최대 output 토큰 수)

  • 정의: 모델이 생성할 수 있는 응답(output)의 최대 길이(토큰 단위)를 설정하는 값

  • ❓토큰(Token)이란?

    • LLM은 문장을 "단어(word)"가 아닌 "토큰(Token)" 단위로 처리합니다.

    • 토큰은 한 단어, 관사, 심지어 문장 부호까지 포함될 수 있습니다.

    • 예를 들어, "안녕하세요. 만나서 반갑습니다."

      • ["안녕", "하세요", ".", "만나", "서", "반갑", "습니다", "."]

      • 위 문장은 8개의 토큰으로 분리됩니다.

      • 이러한 토큰을 분리하는 방식은 LLM 모델마다 상이합니다.

  • 🚨 주의 사항

    • Max Tokens는 생성되는 응답의 길이를 제한합니다.

    • 16,000(16k) 토큰이 최대 출력 제한입니다.

    • 이 범위 내에서만 응답을 생성할 수 있습니다.

  • 💡 Tip!

    • 원하는 응답의 길이를 고려하여 Max Tokens 값을 적절히 조정하세요!

    • 더 정교하고 간결한 답변을 원할 때는 값을 줄이고, 상세하고 긴 답변이 필요할 때는 값을 늘리는 것이 좋습니다.

      • 예제: 제품의 장점을 강조하는 마케팅 문구를 50자 이내로 작성해줘. (Max Tokens = 50)

    • 너무 적게 설정하면 응답이 중간에 끊길 수 있고, 너무 길게 설정하면 불필요하게 긴 응답이 나올 수 있습니다.

      • 예제: AI 기술 트렌드를 주제로 보고서를 작성해줘 (Max Tokens = 10000)

• Temperature (창의성 조절 값)

  • 정의: 모델의 출력 다양성과 창의성을 조절하는 값으로 0과 1사이로 설정됩니다.

  • 💡 Tip!

    • 값이 낮을수록 (0에 가까울수록) 정확하고 예측 가능한 응답을 생성합니다.

      • Hallucination(환각) 없이 정확한 정보가 필요한 경우에 적합합니다.

      • 예시: 기술 문서, 데이터 분석, 객관적인 설명 등

        • 예제: "AI 기술의 현재 트렌드와 기업 활용 사례를 분석하는 보고서를 작성해줘." (Temperature = 0.2)

    • 값이 높을수록 (1에 가까울수록) 창의적이고 독창적인 응답을 생성합니다.

      • 새로운 아이디어, 유머, 스토리텔링 등 창의성을 요구하는 작업에 적합합니다.

      • 예시: 마케팅 문구, 소설 작성, 브레인스토밍 등

        • 예제 :"제품의 강점을 강조하는 마케팅 문구를 아이데이션해줘." (Temperature = 0.8)

이제 본격적으로 Solar LLM을 사용하러 가봅시다!

3. 🛠️ Demo: Playground에서 Solar 써보기

Upstage Console Playground란?

• 업스테이지가 제공하는 실시간 LLM 챗봇 환경

• Solar 모델을 활용하여 텍스트 생성, 문서 요약, 번역 등 다양한 작업을 실험 가능

• 개발자뿐만 아니라 비개발자도 쉽게 사용할 수 있도록 설계

📌 실습 목표

• Playground에 접속하여 Solar 모델을 실행해본다

• 간단한 프롬프트를 입력하고, 결과를 확인한다

• max tokens, temperature 등의 요소를 바꾸어가며 LLM에 익숙해진다.

💡 실습 진행 방법

1. Playground 접속하기

console playground

1. 모델 선택하기 : 화면 상단에서 Solar Mini 또는 Solar Pro 모델을 선택할 수 있습니다.

model selection

1. 시스템 프롬프트 입력하기 : 텍스트 입력란에 원하는 프롬프트를 입력합니다.

system prompt

1. 파라미터 조정하기

• Max Tokens: 생성될 텍스트의 최대 길이를 설정합니다.

• Temperature: 값이 높을수록 출력의 다양성이 증가하며, 낮을수록 보수적인 응답을 생성합니다.

parameter

1. User Input 입력하기 : 실제 AI에게 답변을 원하는 질문을 입력합니다.

user input

1. 응답 확인 및 비교하기

output

• 오른 쪽 화살표 Submit 버튼을 눌러 모델의 응답을 확인합니다.

• 같은 프롬프트를 다른 모델(Solar Mini와 Pro)로 실행하거나 Temperature을 바꾸어가며 응답의 차이를 비교해봅니다.

🚀 Playground 바로가기

Solar를 활용해보셨나요~? 이제 프롬프트를 효과적으로 작성하는 방법을 알아보겠습니다.

4. Prompt Engineering 이란?

Prompt Engineering은 LLM이 더 정확하고 유용한 응답을 생성하도록 최적의 프롬프트를 설계하는 기술입니다.

쉽게 말해, AI에게 어떤 방식으로 질문을 해야 원하는 답을 얻을 수 있는지 연구하고 최적화하는 과정입니다.

올바른 프롬프트를 사용하면 AI가 더 정확하고 유용한 답변을 생성할 수 있으며, 업무 생산성을 높이고 효율적인 AI 활용이 가능합니다.

이처럼 프롬프트를 설계할 때 고려해야 할 핵심 프롬프트 디자인 가이드를 소개합니다.

💡 좋은 프롬프트 작성법

1. 명확하고 구체적인 지시 제공

   AI가 정확한 답변을 제공하려면 요청을 명확하고 구체적으로 작성해야 합니다.

   ❌ "어디로 여행을 가면 좋을까?"

   ⭕ 8월에 자연 경관이 아름다운 해외 여행지 3곳을 추천해줘."

2. 컨텍스트 추가하기

   추가적인 정보를 제공하면 AI가 문맥을 더 잘 이해하고, 원하는 답변을 생성할 가능성이 높아집니다.

   ❌"우리 회사의 SNS 광고 문구를 만들어줘."

   ⭕"우리 회사는 'Solar LLM'이라고 하는 비즈니스 AI 솔루션을 가지고 있어. 이를 홍보할 50자 이내의 LinkedIn/Twitter 광고 문구를 작성해줘. 강력한 성능과 비용 절감을 강조해줘."

3. 역할 부여하기

   AI에게 특정 역할을 설정하면 더 전문적이고 정교한 답변을 얻을 수 있습니다.

   ❌ "나한테 주식 투자 조언을 해줘."

   ⭕ "당신은 금융 전문가입니다. 2024년 시장 전망을 바탕으로 장기 투자 전략을 제안해주세요"

4. 원하는 출력 형식 지정하기

   리스트, 표, JSON 등 원하는 응답 형식을 미리 지정하면 일관된 결과를 얻을 수 있습니다.

   ❌ "이번 달 예산 계획을 세워줘."

   ⭕ "이번 달 예산 계획을 카테고리(식비, 교통비, 여가비 등)별로 표 형식으로 정리해줘"

5. 예시 제공하기

   AI가 원하는 방향으로 응답하도록 유도하려면 원하는 출력 예시를 포함하는 것이 효과적입니다.

   "광고 문구를 만들어줘."

   ⭕ "이전 광고 문구: ‘지금 가입하면 20% 할인!’ 이와 비슷한 느낌의 새로운 프로모션 문구를 만들어줘."

6. 복잡한 요청은 단계별로 정리하기

   하나의 요청을 여러 단계로 나누면 AI가 더 논리적으로 답변할 수 있습니다.

   ❌ "내 이력서를 기반으로 자기소개서를 영어로 작성해줘."

   ⭕ "[1단계] 내 이력서에서 주요 경력을 요약해줘 → [2단계] 해당 경력을 강조하는 자기소개서를 500자 이내로 작성해줘. → [3단계] 작성된 자기소개서를 영어로 번역하고 윤문해줘"

💬 프롬프트 예시

❌ 잘못된 프롬프트 예시

"신제품 출시 마케팅 전략을 세워줘."

AI가 제공할 수 있는 전략의 범위가 너무 넓고, 목표 시장, 예산, 마케팅 채널 등이 불명확하여 원하는 답변을 얻기 어려울 수 있습니다.

⭕ 좋은 프롬프트 예시

[역할 부여] 당신은 글로벌 마케팅 컨설턴트입니다.

[컨텍스트 추가]

AI 기반 고객 지원 솔루션을 개발한 스타트업이 신제품을 출시하려고 합니다. 주요 고객은 중소기업이며, 제한된 예산 내에서 최대한 많은 기업을 유치하는 것이 목표입니다.

아래 정보를 참고하여 신제품 출시를 위한 6개월간의 마케팅 전략을 수립하세요.

• 목표 시장: 북미, 유럽

• 마케팅 예산: 50만 달러

• 주요 채널: 링크드인 광고, 구글검색 광고, 이메일 마케팅

• 목표: 초기 3개월 내 500개 기업 가입 유치

[출력 형식 지정] 출력 형식을 다음과 같이 구성해주세요.

1. 시장 분석: AI 고객 지원 시장 트렌드와 주요 경쟁사를 테이블 형태로 비교해주세요.

2. 마케팅 전략: 초기 3개월과 후속 3개월로 나누어 실행 방안 제시

3. 예산 분배 계획: 마케팅 채널별 예산 할당 (%)

4. 성과 측정 지표 (KPI): 광고 클릭률, 신규 고객 수, 웹사이트 방문자 수

[예제 추가] 지난기수 마케팅 전략 문서 중 일부 발췌 샘플 첨부

반드시 위의 형식을 준수하여 답변을 작성하세요.

이처럼 프롬프트를 체계적으로 설계하면 AI가 보다 실무적이고 보다 정확하게 원하는 답변을 제공할 수 있습니다.

🛠️ 지속적인 테스트 및 개선이 필요합니다!

프롬프트 엔지니어링은 단 한 번의 입력으로 완벽한 결과를 얻는 것이 아니라, 지속적으로 수정하고 최적화하는 과정이 중요합니다.

• 스타일 변경: 답변의 톤이나 문체를 조정

• 응답 길이 조절: 너무 길거나 짧은 답변을 조정

• 특정 정보 강조: 가격, 특징 등 특정 요소를 강조하도록 지시

• 예제 제공: 원하는 출력과 유사한 예시를 포함

• 중요 정보 반복: 프롬프트 마지막에 강조하고 싶은 내용을 반복

• 영어 사용 고려: LLM은 영어로 입력하면 더 정교한 결과를 제공할 수도 있음

• Markdown 활용: 리스트나 표를 활용해 정리된 형태로 출력

💡 위 방법들을 활용해 다양한 방식으로 실험해 보며, Solar와 함께 최적의 프롬프트를 찾아보세요!

📚 Solar Prompt Cookbook

GitHub - UpstageAI/solar-prompt-cookbook: Solar Prompt CookbookGitHub

Solar Prompt Cookbook은 Upstage의 Solar 모델을 효과적으로 활용하기 위한 프롬프트 작성 가이드입니다.

Cookbook에서는 Prompt Engineering과 Fine-Tuning의 차이를 설명하고, 기본부터 고급 기술까지 실습형으로 구성되어 있습니다. 잘못된 프롬프트와 좋은 예시를 비교하며, 최적의 프롬프트 설계를 돕습니다.

Solar Prompt Cookbook에 대한 자세한 설명은 곧 업데이트될 강의에서 더욱 깊이 있는 내용을 만나볼 수 있습니다! 🚀

이제 Solar와 함께 프롬프트를 설계하러 가볼까요? 👉 Playground 바로가기

Wrap Up

이번 글에서는 업스테이지의 Solar 모델과 효과적인 활용법을 살펴보았습니다.

🔹 Solar Mini : 빠르고 가벼운 AI 모델이 필요한 경우 최적

🔹 Solar Pro : 강력한 성능과 전문적인 도메인 대응이 필요한 경우 추천

🔹 LLM의 구성 요소 : 입력, 프롬프트, 출력, 그리고 Max Tokens, Temperature 등 고려해야 할 설정 이해

🔹 Playground 실습 : Solar 모델을 직접 사용하며 성능과 활용법을 익혀보기

🔹 Prompt Engineering : 효과적인 프롬프트 작성법과 최적화 전략을 통해 더 나은 응답 얻기

---

Suwan Kim | AI Edu | Upstage