Getting Started with Solar Chat

Solar Chat API를 사용하려면, 먼저 본인의 API Key를 발급받아야 합니다. API Key 발급 절차가 궁금하다면 01. Introduction to Upstage API(LINK)를 보고 오세요!

📌 목차

• Upstage Solar Chat API 사용 가이드

• Solar Chat API란?

• Getting Started with Solar Chat

• 프롬프트(Prompt)와 역할(role) 설정

• Demo: 프롬프트에 따라 반응 비교해보기

1. Upstage Solar Chat API 사용 가이드

텍스트 생성, 요약, 번역 등의 작업을 자동화하고 싶은가요? 그렇다면 지금부터 Solar Chat API를 활용해 직접 대화형 인공지능을 구현하는 방법을 배워보겠습니다.

이 가이드는 Solar LLM을 API로 불러와 텍스트 관련 작업을 자동화하는 법을 알려줍니다. 이제는 API 개념을 이해하는 것을 넘어서, 실제 Chat API 메세지 구성 그리고 프롬프트 엔지니어링까지 다뤄보겠습니다.

아주 간단한 설정만으로, 강력한 언어모델을 여러분의 서비스에 연결할 수 있어요!

⇒ Solar Chat에 대한 자세한 사용 가이드는 documentation에서도 확인할 수 있습니다.

2. Solar Chat API란?

Upstage의 Solar 모델 시리즈는 작지만 강력한 대규모 언어모델(LLM)입니다. 문서 요약, 질의응답, 번역 등 다양한 언어 기반 작업에 특화되어 있습니다.

Solar Chat API는 이 모델들을 웹 API 형태로 제공하여, 누구나 쉽게 사용할 수 있도록 만들어줍니다.

Solar Chat은 OpenAI API 형식을 사용합니다. 핵심은 chat.compeltions.create() 함수를 통해 대화 메세지(messages)를 보내고 응답을 받는 것입니다.

3. Getting Started with Solar Chat

✅ 3.1 단일 질문 (Single-turn Chat)

가장 기본적인 사용 방식입니다. 한 번의 질문과 응답으로 구성됩니다.

• 단일 질문 구조에서는 사용자 → 모델 → 응답의 한 사이클만 존재합니다.

• 모델은 이전 대화의 맥락을 알 수 없고, 단 건으로 주어진 메세지에 대해서만 반응합니다.

# pip install openai
 
from openai import OpenAI # openai==1.52.2
 
client = OpenAI(
    api_key="up_your_api_key_here",
    base_url="https://api.upstage.ai/v1"
)
 
stream = client.chat.completions.create(
    model="solar-pro",
    messages=[
        {
            "role": "user",
            "content": "Hi, how are you?"
        }
    ],
    stream=True,
)
 
for chunk in stream:
    if chunk.choices[0].delta.content is not None:
        print(chunk.choices[0].delta.content, end="")
 
# Use with stream=False
# print(stream.choices[0].message.content)

✅ 파라미터 구성

파라미터	설명
model	사용할 Solar 모델의 이름을 입력합니다. (solar-pro, solar-mini 중 택1)
messages	대화 내용, role과 content를 담은 리스트이며, 각 항목은 딕셔너리로 구성됩니다. role과 content키를 사용하여 누가 어떤 말을 하는지 정의할 수 있습니다.
stream	모델 응답을 실시간으로 받을지(True), 전부 생성된 뒤 받을지(False)를 정하는 옵션입니다. stream=True로 설정하면 실시간 응답을 스트리밍 방식으로 받을 수 있습니다.

⚠️ 주의사항

• “up_your_api_key_here” 를 발급받은 실제 api key로 변경(”up_xxxx”)하여 사용해야 합니다.

• model 값은 solar-pro 또는 solar-mini 중 선택 가능합니다.

AI Initiative 프로그램에 참여하고 있다면, solar-pro를 무료로 사용하실 수 있습니다. (~2026년 3월 31일) 참여를 원한다면 다음 링크에서 신청할 수 있습니다. ⇒ LINK

• stream=True 옵션을 사용하면 실시간 스트리밍 출력이 가능합니다.

☑️ Stream 파라미터 자세히 알아보기

• stream = True

  • 모델이 응답을 생성하는 과정을 실시간으로 한 줄씩 출력합니다.

  • 긴 응답을 기다릴 필요 없이 점진적으로 출력되기 때문에 사용자 경험이 부드럽습니다.

• stream = False

  • 모델이 응답을 전부 생성한 뒤 한 번에 출력합니다.

  • 간단한 작업에서는 이 방식도 충분히 유효합니다.

---

🔁 3.2 다중턴 대화 (Multi-turn Conversation)

이전 대화 내용을 기억하며 여러 차례 질문/답변을 이어가는 방식을 의미합니다.

• 모델은 이전 메세지를 모두 참고하여 답변을 생성합니다.

• 이전의 대화 맥락을 유지하며 여러 번의 상호작용이 가능합니다.

from openai import OpenAI # openai==1.52.2
 
client = OpenAI(
    api_key="up_*************************qP9B",
    base_url="https://api.upstage.ai/v1"
)

def chat_with_solar(messages):
    response = client.chat.completions.create(
        model="solar-pro",
        messages=messages
    )
    return response.choices[0].message['content']

# 대화 시작
messages = [{"role": "user", "content": "Hello, who won the world series in 2020?"}]
response = chat_with_solar(messages)
print("Assistant:", response)
messages.append({"role": "assistant", "content": response})

# 다음 질문
messages.append({"role": "user", "content": "Where was it played?"})
response = chat_with_solar(messages)
print("Assistant:", response)

🧠 모델이 대화 흐름을 이해할 수 있도록 이전 메시지들을 계속 messages 리스트에 누적시키는 방식입니다.

✅ 구성

• messages는 대화의 모든 흐름을 리스트로 누적합니다.

• 각 turn마다 user 의 질문과 → 모델의 답변인 assistant 형태로 계속 이어집니다.

4. 📌 프롬프트(Prompt)와 역할(role) 설정

프롬프트는 모델에게 “너는 어떤 역할을 할지”, 또 “어떻게 말할지”를 알려주는 설정입니다.

프롬프트를 입력할 수 있는 부분을 포함하여 크게 3가지 role에 대해 알아봅니다.

4.1. System Prompt

대화 전체의 기본 톤, 성격, 규칙 등을 설정하는 곳입니다. 모델에게 행동 지침(Instruction)을 내리는 것이라고 이해할 수 있습니다.

예를 들어:

• "You are a kind and polite assistant." → 친절하고 예의 바른 답변

• "You are a strict grammar teacher." → 문법 오류를 지적하는 답변

🎯 같은 질문이라도 시스템 프롬프트에 따라 답변 스타일이 완전히 달라질 수 있습니다!

4.2. User Prompt

사용자의 질문이나 요청을 담는 부분입니다. 즉, 모델에게 어떤 작업을 해달라고 전달하는 지시문입니다.

예를 들어:

• “오늘 서울의 날씨는 어때?”

• “이 게시글을 3줄로 요약해줘.”

🎯 LLM은 이 user의 발화를 기반으로, 다음 응답(assistant)을 생성합니다.

solar에게 꼭 맞는 user prompt가 궁금하다면 solar-prompt-cookbook을 참고해 보세요. ⇒ LINK

4.3. Assistant

모델이 생성한 답변, 또는 행동 결과를 담는 부분입니다.

이전 응답을 기억시키거나, 다중 턴 대화에서 대화 흐름을 유지할 때 꼭 필요한 부분입니다.

예를 들어:

• “오늘 서울 날씨는 맑고, 섭씨 24도입니다.” → 사용자 질문에 대한 응답을 출력하거나,

• “이 게시글의 3줄 요약은 다음과 같습니다…” → 요청한 요약을 수행하는 곳입니다.

🎯 Assistant 메세지를 명시해주면 모델이 자신의 이전 응답을 기억하며 자연스럽게 이어서 대화를 나눌 수 있습니다.

---

5. ✍️ Demo: 프롬프트에 따라 반응 비교해보기

System Prompt의 영향을 비교해볼 수 있는 데모를 체험해 보세요. 원하는 system prompt를 입력하고, 그에 따라 모델의 반응을 비교해보세요. 모델과 나눈 대화는 csv 파일로 다운받아, 결과값을 보관할 수도 있습니다.

👉 데모 바로가기

🌞 Solar Prompt Comparator

✅ 기능 요약

• 좌측: 기본 프롬프트 사용 (기본 프롬프트는 You are a helpful assistant. 가 들어가있습니다.)

• 우측: 사용자가 작성한 커스텀 프롬프트 사용

  • 모델에게 특별한 역할을 부여해 보세요!

• 입력한 질문에 대해 각기 다른 응답 결과 비교

💻 코드 일부 예시

custom_prompt = st.text_area("Write your own system prompt", "You are a helpful assistant.")

st.session_state.default_messages = [{"role": "system", "content": default_prompt}]
st.session_state.custom_messages = [{"role": "system", "content": custom_prompt}]

# 사용자 질문을 추가하여 두 프롬프트로 동시에 응답 받아 출력

자세한 코드는 다음 링크에서 확인하실 수 있습니다. ⇒ LINK

📁 채팅 결과 저장 기능까지!

• 좌/우 결과를 .csv로 다운로드할 수 있습니다.

• 대화 기록 보존 및 비교 연구에 유용합니다.

👉 데모를 입맛에 맞게 바꾸고 싶다면, huggingface에 streamlit 용 space를 개설하여 수정해보세요!

---

Wrap Up

이번 섹션에서는 Solar Chat API 사용 방식을 배웠습니다.

🔹 API Key 발급 → Solar 모델 연결 → 대화 처리까지 단계별로 정리

🔹 Single Turn/Multi Turn 대화 구현법 소개

🔹 Chat API를 사용할 때 필요한 Prompt Role의 종류와 활용법 설명

🔹 데모 코드로 시스템 프롬프트 효과 비교까지!

---

Suwan Kim | AI Edu | Upstage