Introduction to Solar
📌 목차
Solar 를 사용해야 하는 이유
Solar Mini vs Solar Pro
LLM 구성요소
Demo: Playground에서 Solar 써보기
Prompt Engineering 이란?
1. Solar 를 사용해야 하는 이유
업스테이지의 Solar는 누구나 쉽게 활용할 수 있도록 설계된 고성능 LLM 입니다.
업스테이지는 다양한 사용자 니즈를 충족시키기 위해 Solar Mini와 Solar Pro 두 가지 모델을 제공합니다. 각 모델은 사용자의 환경과 필요에 맞춰 최적화되어 있으며, 실제 비즈니스 환경에서 활용할 수 있도록 설계되었습니다.
🤖 Solar Mini: 컴팩트하지만 강력한 성능
Solar Mini는 소형 LLM이지만, 빠르고 강력한 성능을 제공합니다.
Why Solar Mini
✔ 실시간 AI 서비스에 적합한 빠른 처리 속도
✔ 온디바이스(On-device) 실행 가능하여 사용자의 로컬에서 바로 AI 활용 가능
✔ 최적화(Tuning)가 비교적 쉬워 특정 도메인이나 서비스 맞춤형 적용 가능
✔ GPU 자원 절약으로 비용 절감 및 효율적 운영 가능
💡 Solar Mini는 가볍지만, 강력한 자연어 처리 기능을 제공하며 다양한 환경에서 유연하게 활용할 수 있습니다.
더 자세한 사항은 아래 블로그를 참고하세요! 🔗 Solar Mini 블로그 원문
🤖 Solar Pro: 단일 GPU에서 최고의 성능을 제공하는 LLM
"The most intelligent LLM on a single GPU."
Solar Pro는 70B+ 모델 수준의 성능을 단일 GPU에서 구현하는 강력한 LLM입니다.
다국어 지원, 도메인 특화 지식 등 기업 환경에서의 실질적인 요구사항을 충족하도록 설계되었습니다.
Why Solar Pro
✔ 단일 GPU에서 70B+ 모델 수준의 성능 제공
✔ 영어뿐만 아니라 한국어와 일본어에서도 높은 성능을 보이는 다국어 모델
✔ 금융·의료·법률 등 전문적인 분야에서 높은 성능 발휘
💡 Solar Pro는 고성능을 바탕으로 기업이 신뢰할 수 있는 AI 솔루션을 제공하며, 복잡한 전문적인 데이터를 다루는 다양한 산업에서 활용될 수 있습니다.
더 자세한 사항은 아래 블로그를 참고하세요! 🔗 Solar Pro 블로그 원문
결론
✔ Solar Mini는 가벼운 AI 솔루션이 필요한 경우에 적합
✔ Solar Pro는 더 좋은 성능의 서비스가 필요하거나 금융·법률·의료 도메인 특화 AI가 필요한 경우에 적합
2. LLM 구성요소
이제 본격적으로 LLM을 활용하기 이전에 핵심 구성 요소와 설정 시 고려해야 할 사항을 이해하는 것이 중요합니다.
💡 LLM 구성 요소
1️⃣ User Input (사용자 입력)
정의: 사용자가 LLM에게 보내는 질문이나 요청
예시:
"오늘 서울의 날씨는 어떤가요?"
2️⃣ Prompt (프롬프트)
정의: AI 모델에게 입력 질문과 함께 제공하는 지시사항 또는 답변 생성을 돕는 예제들
예시:
지시사항 : 당신은 날씨 전문가입니다. 사용자가 원하는 지역의 날씨를 알려주세요. 친절한 톤으로 아래 형식에 맞추어 작성해주세요.
형식 : 오늘 '
원하는 지역'의 날씨는 '다음고 같고, xx도' 입니다"예제: 오늘 뉴욕은 비가 오고 기온은 12도입니다.
3️⃣ Output (출력)
정의: LLM이 사용자 입력과 프롬프트를 기반으로 생성한 답변
예시:
"오늘 서울은 맑고 기온은 25도입니다."
🔍 LLM 사용 시 고려사항
LLM을 효과적으로 활용하려면 출력 길이와 응답 스타일 조절 등의 요소를 이해하는 것이 중요합니다.
Max Tokens (최대 output 토큰 수)
정의: 모델이 생성할 수 있는 응답(output)의 최대 길이(토큰 단위)를 설정하는 값
❓토큰(Token)이란?
LLM은 문장을 "단어(word)"가 아닌 "토큰(Token)" 단위로 처리합니다.
토큰은 한 단어, 관사, 심지어 문장 부호까지 포함될 수 있습니다.
예를 들어,
"안녕하세요. 만나서 반갑습니다."["안녕", "하세요", ".", "만나", "서", "반갑", "습니다", "."]위 문장은 8개의 토큰으로 분리됩니다.
이러한 토큰을 분리하는 방식은 LLM 모델마다 상이합니다.
🚨 주의 사항
Max Tokens는 생성되는 응답의 길이를 제한합니다.
16,000(16k) 토큰이 최대 출력 제한입니다.
이 범위 내에서만 응답을 생성할 수 있습니다.
💡 Tip!
원하는 응답의 길이를 고려하여 Max Tokens 값을 적절히 조정하세요!
더 정교하고 간결한 답변을 원할 때는 값을 줄이고, 상세하고 긴 답변이 필요할 때는 값을 늘리는 것이 좋습니다.
예제: 제품의 장점을 강조하는 마케팅 문구를 50자 이내로 작성해줘. (Max Tokens = 50)
너무 적게 설정하면 응답이 중간에 끊길 수 있고, 너무 길게 설정하면 불필요하게 긴 응답이 나올 수 있습니다.
예제: AI 기술 트렌드를 주제로 보고서를 작성해줘 (Max Tokens = 10000)
Temperature (창의성 조절 값)
정의: 모델의 출력 다양성과 창의성을 조절하는 값으로 0과 1사이로 설정됩니다.
💡 Tip!
값이 낮을수록 (0에 가까울수록) 정확하고 예측 가능한 응답을 생성합니다.
Hallucination(환각) 없이 정확한 정보가 필요한 경우에 적합합니다.
예시: 기술 문서, 데이터 분석, 객관적인 설명 등
예제: "AI 기술의 현재 트렌드와 기업 활용 사례를 분석하는 보고서를 작성해줘." (Temperature = 0.2)
값이 높을수록 (1에 가까울수록) 창의적이고 독창적인 응답을 생성합니다.
새로운 아이디어, 유머, 스토리텔링 등 창의성을 요구하는 작업에 적합합니다.
예시: 마케팅 문구, 소설 작성, 브레인스토밍 등
예제 :"제품의 강점을 강조하는 마케팅 문구를 아이데이션해줘." (Temperature = 0.8)
이제 본격적으로 Solar LLM을 사용하러 가봅시다!
3. 🛠️ Demo: Playground에서 Solar 써보기
Upstage Console Playground란?
업스테이지가 제공하는 실시간 LLM 챗봇 환경
Solar 모델을 활용하여 텍스트 생성, 문서 요약, 번역 등 다양한 작업을 실험 가능
개발자뿐만 아니라 비개발자도 쉽게 사용할 수 있도록 설계
📌 실습 목표
Playground에 접속하여 Solar 모델을 실행해본다
간단한 프롬프트를 입력하고, 결과를 확인한다
max tokens, temperature 등의 요소를 바꾸어가며 LLM에 익숙해진다.
💡 실습 진행 방법
Playground 접속하기
모델 선택하기 : 화면 상단에서 Solar Mini 또는 Solar Pro 모델을 선택할 수 있습니다.
시스템 프롬프트 입력하기 : 텍스트 입력란에 원하는 프롬프트를 입력합니다.
파라미터 조정하기
Max Tokens: 생성될 텍스트의 최대 길이를 설정합니다.
Temperature: 값이 높을수록 출력의 다양성이 증가하며, 낮을수록 보수적인 응답을 생성합니다.
User Input 입력하기 : 실제 AI에게 답변을 원하는 질문을 입력합니다.
응답 확인 및 비교하기
오른 쪽 화살표 Submit 버튼을 눌러 모델의 응답을 확인합니다.
같은 프롬프트를 다른 모델(Solar Mini와 Pro)로 실행하거나 Temperature을 바꾸어가며 응답의 차이를 비교해봅니다.
Solar를 활용해보셨나요~? 이제 프롬프트를 효과적으로 작성하는 방법을 알아보겠습니다.
4. Prompt Engineering 이란?
Prompt Engineering은 LLM이 더 정확하고 유용한 응답을 생성하도록 최적의 프롬프트를 설계하는 기술입니다.
쉽게 말해, AI에게 어떤 방식으로 질문을 해야 원하는 답을 얻을 수 있는지 연구하고 최적화하는 과정입니다.
올바른 프롬프트를 사용하면 AI가 더 정확하고 유용한 답변을 생성할 수 있으며, 업무 생산성을 높이고 효율적인 AI 활용이 가능합니다.
이처럼 프롬프트를 설계할 때 고려해야 할 핵심 프롬프트 디자인 가이드를 소개합니다.
💡 좋은 프롬프트 작성법
명확하고 구체적인 지시 제공
AI가 정확한 답변을 제공하려면 요청을 명확하고 구체적으로 작성해야 합니다.
❌ "어디로 여행을 가면 좋을까?"
⭕ 8월에 자연 경관이 아름다운 해외 여행지 3곳을 추천해줘."
컨텍스트 추가하기
추가적인 정보를 제공하면 AI가 문맥을 더 잘 이해하고, 원하는 답변을 생성할 가능성이 높아집니다.
❌"우리 회사의 SNS 광고 문구를 만들어줘."
⭕"우리 회사는 'Solar LLM'이라고 하는 비즈니스 AI 솔루션을 가지고 있어. 이를 홍보할 50자 이내의 LinkedIn/Twitter 광고 문구를 작성해줘. 강력한 성능과 비용 절감을 강조해줘."
역할 부여하기
AI에게 특정 역할을 설정하면 더 전문적이고 정교한 답변을 얻을 수 있습니다.
❌ "나한테 주식 투자 조언을 해줘."
⭕ "당신은 금융 전문가입니다. 2024년 시장 전망을 바탕으로 장기 투자 전략을 제안해주세요"
원하는 출력 형식 지정하기
리스트, 표, JSON 등 원하는 응답 형식을 미리 지정하면 일관된 결과를 얻을 수 있습니다.
❌ "이번 달 예산 계획을 세워줘."
⭕ "이번 달 예산 계획을 카테고리(식비, 교통비, 여가비 등)별로 표 형식으로 정리해줘"
예시 제공하기
AI가 원하는 방향으로 응답하도록 유도하려면 원하는 출력 예시를 포함하는 것이 효과적입니다.
"광고 문구를 만들어줘."
⭕ "이전 광고 문구: ‘지금 가입하면 20% 할인!’ 이와 비슷한 느낌의 새로운 프로모션 문구를 만들어줘."
복잡한 요청은 단계별로 정리하기
하나의 요청을 여러 단계로 나누면 AI가 더 논리적으로 답변할 수 있습니다.
❌ "내 이력서를 기반으로 자기소개서를 영어로 작성해줘."
⭕ "[1단계] 내 이력서에서 주요 경력을 요약해줘 → [2단계] 해당 경력을 강조하는 자기소개서를 500자 이내로 작성해줘. → [3단계] 작성된 자기소개서를 영어로 번역하고 윤문해줘"
💬 프롬프트 예시
❌ 잘못된 프롬프트 예시
"신제품 출시 마케팅 전략을 세워줘."
AI가 제공할 수 있는 전략의 범위가 너무 넓고, 목표 시장, 예산, 마케팅 채널 등이 불명확하여 원하는 답변을 얻기 어려울 수 있습니다.
⭕ 좋은 프롬프트 예시
[역할 부여] 당신은 글로벌 마케팅 컨설턴트입니다.
[컨텍스트 추가]
AI 기반 고객 지원 솔루션을 개발한 스타트업이 신제품을 출시하려고 합니다. 주요 고객은 중소기업이며, 제한된 예산 내에서 최대한 많은 기업을 유치하는 것이 목표입니다.
아래 정보를 참고하여 신제품 출시를 위한 6개월간의 마케팅 전략을 수립하세요.
목표 시장: 북미, 유럽
마케팅 예산: 50만 달러
주요 채널: 링크드인 광고, 구글검색 광고, 이메일 마케팅
목표: 초기 3개월 내 500개 기업 가입 유치
[출력 형식 지정] 출력 형식을 다음과 같이 구성해주세요.
시장 분석: AI 고객 지원 시장 트렌드와 주요 경쟁사를 테이블 형태로 비교해주세요.
마케팅 전략: 초기 3개월과 후속 3개월로 나누어 실행 방안 제시
예산 분배 계획: 마케팅 채널별 예산 할당 (%)
성과 측정 지표 (KPI): 광고 클릭률, 신규 고객 수, 웹사이트 방문자 수
[예제 추가] 지난기수 마케팅 전략 문서 중 일부 발췌 샘플 첨부
반드시 위의 형식을 준수하여 답변을 작성하세요.
이처럼 프롬프트를 체계적으로 설계하면 AI가 보다 실무적이고 보다 정확하게 원하는 답변을 제공할 수 있습니다.
🛠️ 지속적인 테스트 및 개선이 필요합니다!
프롬프트 엔지니어링은 단 한 번의 입력으로 완벽한 결과를 얻는 것이 아니라, 지속적으로 수정하고 최적화하는 과정이 중요합니다.
스타일 변경: 답변의 톤이나 문체를 조정
응답 길이 조절: 너무 길거나 짧은 답변을 조정
특정 정보 강조: 가격, 특징 등 특정 요소를 강조하도록 지시
예제 제공: 원하는 출력과 유사한 예시를 포함
중요 정보 반복: 프롬프트 마지막에 강조하고 싶은 내용을 반복
영어 사용 고려: LLM은 영어로 입력하면 더 정교한 결과를 제공할 수도 있음
Markdown 활용: 리스트나 표를 활용해 정리된 형태로 출력
💡 위 방법들을 활용해 다양한 방식으로 실험해 보며, Solar와 함께 최적의 프롬프트를 찾아보세요!
📚 Solar Prompt Cookbook
Solar Prompt Cookbook은 Upstage의 Solar 모델을 효과적으로 활용하기 위한 프롬프트 작성 가이드입니다.
Cookbook에서는 Prompt Engineering과 Fine-Tuning의 차이를 설명하고, 기본부터 고급 기술까지 실습형으로 구성되어 있습니다. 잘못된 프롬프트와 좋은 예시를 비교하며, 최적의 프롬프트 설계를 돕습니다.
Solar Prompt Cookbook에 대한 자세한 설명은 곧 업데이트될 강의에서 더욱 깊이 있는 내용을 만나볼 수 있습니다! 🚀
이제 Solar와 함께 프롬프트를 설계하러 가볼까요? 👉 Playground 바로가기
Wrap Up
이번 글에서는 업스테이지의 Solar 모델과 효과적인 활용법을 살펴보았습니다.
🔹 Solar Mini : 빠르고 가벼운 AI 모델이 필요한 경우 최적
🔹 Solar Pro : 강력한 성능과 전문적인 도메인 대응이 필요한 경우 추천
🔹 LLM의 구성 요소 : 입력, 프롬프트, 출력, 그리고 Max Tokens, Temperature 등 고려해야 할 설정 이해
🔹 Playground 실습 : Solar 모델을 직접 사용하며 성능과 활용법을 익혀보기
🔹 Prompt Engineering : 효과적인 프롬프트 작성법과 최적화 전략을 통해 더 나은 응답 얻기
Suwan Kim | AI Edu | Upstage
Last updated