Introduction to LLM
Last updated
Last updated
๐ ๋ชฉ์ฐจ
LLM์ด๋?
LLM ์๋์๋ฆฌ
LLM์ ์ค์์ฑ
LLM์ด ๊ฐ์ ธ์ค๋ ๋ณํ
์ฌ๋ฌ๋ถ, LLM, ๋๊ท๋ชจ ์ธ์ด๋ชจ๋ธ์ด๋ผ๋ ๋จ์ด๋ฅผ ๋ค์ด๋ณด์ ์ ์ด ์๋์?
์์ํ๊ฒ ๋๊ปด์ง ์๋ ์์ง๋ง, ์ฌ์ค ์ฐ๋ฆฌ๋ ์ด๋ฏธ ์ผ์ ์์์ LLM์ ์์ฃผ ํ์ฉํ๊ณ ์์ต๋๋ค.
โ ๊ณ ๊ฐ์ผํฐ ์ฑ๋ด:
์ ํ ์ฌ์ดํธ์ ์ ์ํ์ ๋, ์ํ ๊ตํ ๋ฐ ํ๋ถ ๋ฑ์ ์ ๋ณด๋ฅผ ์๋์ผ๋ก ๋ต๋ณํด์ฃผ๋ ์ฑ๋ด์ ํ์ฉํด๋ณธ ์ ์ด ์์ผ์ ๊ฐ์?
์์ ์๋ ๋จ์ํ ํค์๋๋ฅผ ๋งค์นญํ์ฌ ์ผ๊ด๋ ๋ต๋ณ์ ์ ๊ณตํ๋ ๋ฐฉ์์ด์์ง๋ง, ์ด์ ๋ ๊ณ ๊ฐ์ ์ง๋ฌธ์ LLM์ด ์ดํดํ๊ณ ๋ฌธ๋งฅ์ ๋ง๋ ์์ฐ์ค๋ฝ๊ฒ ๋ต๋ณ์ ์ ๊ณตํฉ๋๋ค.
โ ์๋ ๋ฒ์ญ ์๋น์ค
์ธ๊ตญ์ด ์น์ฌ์ดํธ๋ฅผ ์ฝ์ ๋ ๊ตฌ๊ธ ๋ฒ์ญ์ ์ฌ์ฉํด ๋ณธ ์ ์ด ์์ผ์ ๊ฐ์?
LLM์ ๋จ์ํ ๋จ์ด ๋์ฒด๊ฐ ์๋๋ผ ๋ฌธ๋งฅ์ ๊ณ ๋ คํ์ฌ ๋ ์์ฐ์ค๋ฌ์ด ๋ฒ์ญ์ ์ ๊ณตํฉ๋๋ค.
โ ์๋ ์ด๋ฉ์ผ ์์ฑ ๋์ฐ๋ฏธ:
"์ด๋ฉ์ผ ๋ต์ฅ์ ์ด๋ป๊ฒ ์จ์ผ ํ ๊น?" ๊ณ ๋ฏผ๋ ๋, ์ด๋ฉ์ผ ์๋น์ค์์ ์ถ์ฒ ๋ต์ฅ์ ์ ๊ณตํ๋ ๊ธฐ๋ฅ์ด ์์ต๋๋ค.
์ด๋ LLM์ด ์ด๋ฉ์ผ ๋ด์ฉ์ ๋ถ์ํ๊ณ , ์ ์ ํ ๋ต๋ณ์ ์์ฑํ๋ ๊ธฐ๋ฅ์ ํ์ฉํ ๊ฒ์ ๋๋ค.
๐ก LLM ์ด๋?
LLM(Large Language Model)์ด๋, ์ฌ๋์ด ์ฌ์ฉํ๋ ์์ฐ์ด๋ฅผ ์ดํดํ๊ณ , ์๋ก์ด ๋ฌธ์ฅ์ ์์ฑํ๋ ์ธ๊ณต์ง๋ฅ ๋ชจ๋ธ์ ๋๋ค. ์ฝ๊ฒ ๋งํด, ์ธ๊ฐ์ฒ๋ผ ํ ์คํธ๋ฅผ ์ฝ๊ณ , ์ฐ๊ณ , ๋ํ๋ฅผ ํ ์ ์๋๋ก ์ค๊ณ๋ AI๋ผ๊ณ ํ ์ ์์ต๋๋ค.
์ต๊ทผ ๋ช ๋ ์ฌ์ด, ์์ ์์์ ๊ฐ์ด ์ฑ๋ด, ์๋ ๋ฒ์ญ, ์ฝํ ์ธ ์์ฑ, ์ด๋ฉ์ผ ์์ฑ ๋์ฐ๋ฏธ ๋ฑ ๋ค์ํ ๋ถ์ผ์์ LLM์ด ํ์ฉ๋๋ฉฐ, ์ฐ๋ฆฌ์ ์ผ์๊ณผ ์ ๋ฌด๋ฅผ ๋์ฑ ํธ๋ฆฌํ๊ฒ ๋ง๋ค์ด์ฃผ๊ณ ์์ต๋๋ค.
LLM์ ๋จ์ํ ๋ฐ์ดํฐ๋ฅผ ์๊ธฐํ๋ ๊ฒ์ด ์๋๋๋ค. ํ๋ฅ ๋ชจ๋ธ(Probability Model)์ ๊ธฐ๋ฐ์ผ๋ก ๋ค์์ ์ฌ ๋จ์ด๋ ๋ฌธ์ฅ์ ์์ธกํ๋ ๋ฐฉ์์ผ๋ก ์๋ํฉ๋๋ค.
ํ๋ฅ ๋ชจ๋ธ(Probability Model)์ด๋ ์ด๋ค ์ฌ๊ฑด์ด ๋ฐ์ํ ํ๋ฅ ์ ๊ณ์ฐํ๊ณ , ๊ทธ ํ๋ฅ ์ ๋ฐํ์ผ๋ก ๊ฒฐ๊ณผ๋ฅผ ์์ธกํ๋ ์ํ์ ๋ชจ๋ธ์ ๋๋ค.
์๋ฅผ ๋ค์ด, ๋์ ์ ๋์ก์ ๋ ์๋ฉด์ด ๋์ฌ ํ๋ฅ ์ 50%, ๋ท๋ฉด์ด ๋์ฌ ํ๋ฅ ๋ 50%๋ผ๋ ๊ฐ๋ ์ด ํ๋ฅ ๋ชจ๋ธ์ ๊ธฐ์ด์ ์ธ ์์์ ๋๋ค.
LLM์ ๋ฌธ๋งฅ์ ๋ฐํ์ผ๋ก ๋ค์์ ๋์ฌ ๋จ์ด๋ฅผ ์์ธกํ๋ ๋ฐฉ์์ผ๋ก ์๋ํฉ๋๋ค.
์ฆ, ํน์ ๋ฌธ์ฅ์ด ์ฃผ์ด์ก์ ๋, ๋ค์ ๋จ์ด๊ฐ ๋์ฌ ๊ฐ๋ฅ์ฑ์ ๊ณ์ฐํ์ฌ ๊ฐ์ฅ ์ ์ ํ ๋จ์ด๋ฅผ ์ ํํ๋ ๊ฒ์ด์ฃ .
์๋ฅผ ๋ค์ด, ์ฐ๋ฆฌ๊ฐ
โ์ค๋ ๋ ์จ๊ฐโ
๋ผ๊ณ ์ ๋ ฅํ์ ๋, LLM์ ๋ฐฉ๋ํ ์์ ํ์ต๋ ๋ฐ์ดํฐ์ ํ๋ฅ ๋ชจ๋ธ์ ๋ฐํ์ผ๋ก ๋ค์ ๋จ์ด๋ฅผ ์์ธกํฉ๋๋ค.
๐ ๊ฐ๋ฅํ ๋ค์ ๋จ์ด๋ค:
โ์ถฅ๋ค์.โ (ํ๋ฅ : 80%)
โ์๋ฆฌํ๋คโ (ํ๋ฅ : 10%)
โ๋ง์๋โ (ํ๋ฅ : 5%)
โ๊ธฐ์ฐจโ (ํ๋ฅ : 3%)
โ1234โ (ํ๋ฅ : 2%)
์ด ์ค ๊ฐ์ฅ ํ๋ฅ ์ด ๊ฐ์ฅ ๋์ ๋จ์ด์ธ โ์ถฅ๋ค์โ๋ฅผ ์ ํํ์ฌ ๋ฌธ์ฅ์ ์ด์ด ๋๊ฐ๋ ๋ฐฉ์์ผ๋ก ํ ์คํธ๋ฅผ ์์ฑํฉ๋๋ค.
๐ก ์ฝ๊ฒ ๋งํด, LLM์ ์ฐ๋ฆฌ๊ฐ ๋งํ ๋ ์์ฐ์ค๋ฝ๊ฒ ์ด์ด์ง ๊ฐ๋ฅ์ฑ์ด ๋์ ๋จ์ด๋ค์ ์์ธกํ๋ AI์ ๋๋ค.
์ฐ๋ฆฌ๋ ์ด๋ฅผ ๋ค์ ํ ํฐ(๋จ์ด)๋ฅผ ์์ธกํ๋ค๋ ์๋ฏธ์์ "Next Token Prediction"์ด๋ผ๊ณ ํฉ๋๋ค.
์ ์ต๊ทผ๋ค์ด์ LLM์ด ํ๋๊ฐ ๋๊ณ ์์๊น์?
๊ทธ ์ด์ ๋ ๋จ์ํ ๋ฌธ์ฅ์ ์์ฑํ๋ ๊ฒ์ด ์๋๋ผ, ๋ค์ํ ์ฐ์ ๊ณผ ์ผ์์ํ์์ ํ์ ์ ๊ฐ์ ธ์ค๊ณ ์๊ธฐ ๋๋ฌธ์ ๋๋ค
LLM์ ์ฌ์ฉ์์ ์ง๋ฌธ์ ์ดํดํ๊ณ ๋ฌธ๋งฅ์ ๋ง๋ ๋ต๋ณ์ ์ ๊ณตํฉ๋๋ค.
๋ฒ์ญ, ์์ฝ, ๋ฌธ์ ์์ฑ ๋ณด์กฐ ๋ฑ ๋ค์ํ ์์ ์์ ํ์ฉ๋ฉ๋๋ค.
์ด๋ฌํ ํน์ง ๋๋ถ์, LLM์ ์ฌ๋๋ค์ด ๋ณด๋ค ํจ์จ์ ์ผ๋ก ์ ๋ณด๋ฅผ ํ์ฉํ๊ณ , ์์ฐ์ฑ์ ๋์ด๋ฉฐ, ์ฐฝ์์ ์ธ ์์ ์ ์ํํ๋ ๋ฐ ๋์์ ์ฃผ๋ ํต์ฌ ๊ธฐ์ ๋ก ์๋ฆฌ ์ก๊ณ ์์ต๋๋ค.
LLM์ ๋จ์ํ ํ ์คํธ ์์ฑ ๋๊ตฌ๋ฅผ ๋์ด, ๋ค๋ฅธ ์ธ๊ณต์ง๋ฅ ๊ธฐ์ ๊ณผ ๊ฒฐํฉํ์ฌ ์๋ก์ด ๊ฐ์น๋ฅผ ์ฐฝ์ถํ๋ ํต์ฌ ์์๋ก ์์ฉํ๊ณ ์์ต๋๋ค.
๋ค์ํ AI ๊ธฐ์ ๊ณผ ํ๋ ฅํ ๋, LLM์ ๋์ฑ ์ง๊ด์ ์ด๊ณ ํจ์จ์ ์ธ ์๋น์ค๋ฅผ ์ ๊ณตํ ์ ์์ต๋๋ค. ์ด๋ฌํ ๊ฒฐํฉ์ ๋ฉํฐ๋ชจ๋ฌ AI(Multimodal AI)๊ณ ๋ถ๋ฆฌ๋ฉฐ, ํ ์คํธ(์์ฐ์ด)๋ฟ๋ง ์๋๋ผ ์ด๋ฏธ์ง, ์์ฑ, ์์ ๋ฑ ๋ค์ํ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ์ ์๋ AI ๋ชจ๋ธ ์ ์๋ฏธํฉ๋๋ค.
๐ท ์ปดํจํฐ ๋น์ (Computer Vision):
LLM๊ณผ ์ด๋ฏธ์ง ์ธ์ ๋ชจ๋ธ์ ๊ฒฐํฉํ๋ฉด ๋ฌธ์ ๋ด ํ ์คํธ๋ฅผ ์ดํดํ๊ณ ์ค๋ช ํ๋ AI๊ฐ ๊ฐ๋ฅํด์ง๋๋ค.
์๋ฅผ ๋ค์ด, ๊ณ์ฝ์์์ ์ค์ํ ๋ด์ฉ์ ์ถ์ถํ๋ ์๋ ๋ฌธ์ ๋ถ์ AI๋ ์๊ฐ ์ฅ์ ์ธ์ ์ํ ์ด๋ฏธ์ง ์ค๋ช AI ๋ฑ์ ์๋น์ค๋ฅผ ์ ๊ณตํ ์ ์์ต๋๋ค.
๐ ์์ฑ ์ธ์ (Speech Recognition):
๋ํ, ์์ฑ ๊ธฐ์ ๊ณผ ๊ฒฐํฉํ์ฌ ์ค์๊ฐ์ผ๋ก ์์ฑ์ ํ ์คํธ๋ก ๋ณํํ๊ณ , LLM์ด ์์ฝํ๊ฑฐ๋ ์ง๋ฌธ์ ๋ต๋ณํ ์ ์์ต๋๋ค.
์ด๋ฅผ ํตํด ์ค์๊ฐ ์์ฑ AI ๋น์๋ ์๋ ํ์ ์์ฝ ์์คํ ์ด ์๊ฒจ๋๊ณ ์์ต๋๋ค.
์ด์ฒ๋ผ LLM์ ๋ค๋ฅธ AI ๊ธฐ์ ๊ณผ ๊ฒฐํฉํ์ฌ ๋์ฑ ๊ฐ๋ ฅํ AI ์ํ๊ณ๋ฅผ ๊ตฌ์ถํ๋ ๋ฐ ํต์ฌ์ ์ธ ์ญํ ์ ํ๊ณ ์์ต๋๋ค.
๐ก ๋ฌธ์ ์์ ์๋ํ โ ์๊ฐ์ ์ ์ฝํ๊ณ ํจ์จ์ฑ UP!
๊ธฐ์ ์์๋
์ด๋ฉ์ผ ์๋ ์์ฑ
๋ณด๊ณ ์ ์ด์ ์์ฑ
๊ณ ๊ฐ ๋ฌธ์ ์๋ต ์๋ํ
๋ฑ์ LLM์ ์ค์ ์ ๋ฌด์ ํ์ฉํ์ฌ ์๋ํํ๊ณ ์์ต๋๋ค. ์ด๋ฅผ ํตํด ๋ฐ๋ณต์ ์ธ ์ ๋ฌด๋ฅผ ์ค์ด๊ณ , ํจ์จ์ฑ์ ๋์ผ ์ ์์ต๋๋ค.
๐ก ๋ค์ํ ์ธ์ด ์ฅ๋ฒฝ์ ํ๋ฌผ๊ณ , ๋ ๋ง์ ์ฌ๋๋ค๊ณผ ์ํต
๋ค๊ตญ์ด ๋ฒ์ญ ๊ธฐ๋ฅ์ผ๋ก ๊ธ๋ก๋ฒ ์ํต ์ง์
์ ๋ฌธ์ ์ธ ๋ฒ๋ฅ , ์ํ, ๊ธฐ์ ๋ฌธ์๋ฅผ ๋ณด๋ค ์ฝ๊ฒ ์ดํดํ ์ ์๋๋ก ๋ณํ
์ด์ฒ๋ผ ์ธ์ด์ ์ฅ๋ฒฝ์ ๋ฎ์ถฐ ๋๊ตฌ๋ ํธ๋ฆฌํ๊ฒ ์ดํดํ๊ณ ์ํตํ ์ ์๋๋ก ๋์ต๋๋ค.
๐ก LLM์ ํ์ฉํ๋ฉด ๋๊ตฌ๋ ์ฐฝ์์๊ฐ ๋ ์ ์๋ค!
๋ธ๋ก๊ทธ ๊ธ, ๊ด๊ณ ๋ฌธ๊ตฌ, ๋ด์ค ๊ธฐ์ฌ ์์ฑ
์, ์์ค, ๋๋ณธ ์์ฑ
๋ง์ผํ ์ฝํ ์ธ ์ ์
LLM์ ๋จ์ํ ์ ๋ณด ์ ๊ณต์ ๋์ด, ์ฌ๋๋ค์ด ๋์ฑ ์ฐฝ์์ ์ธ ์์ด๋์ด๋ฅผ ์คํํ ์ ์๋๋ก ๋์์ฃผ๋ ๋๊ตฌ๋ก ํ์ฉ๋ ์ ์์ต๋๋ค.
LLM์ ๋จ์ํ ํ ์คํธ ์์ฑ ๋๊ตฌ๋ฅผ ๋์ด, ๋ค์ํ ์ฐ์ ๊ณผ ์ผ์์์ ํ์ ์ ๋ง๋ค์ด๊ฐ๊ณ ์์ต๋๋ค.
๐น LLM : ์ธ๊ฐ์ด ์ฌ์ฉํ๋ ์์ฐ์ด๋ฅผ ์ดํดํ๊ณ ์์ฑํ๋ ์ธ๊ณต์ง๋ฅ ๋ชจ๋ธ๋ก, ์ฑ๋ด, ๋ฒ์ญ, ์ด๋ฉ์ผ ์๋ ์์ฑ ๋ฑ ๋ค์ํ ๋ถ์ผ์์ ํ์ฉ๋จ.
๐นLLM ์๋์๋ฆฌ: ํ๋ฅ ๋ชจ๋ธ(Probability Model)์ ๊ธฐ๋ฐ์ผ๋ก ๋ค์ ๋จ์ด๋ฅผ ์์ธกํ์ฌ ์์ฐ์ค๋ฌ์ด ๋ฌธ์ฅ์ ์์ฑํ๋ ๋ฐฉ์์ผ๋ก ์๋ํจ.
๐น Why LLM : ์์ฐ์ด ์ดํด ๋ฐ ์์ฑ ๋ฅ๋ ฅ์ ๋ฐํ์ผ๋ก ๋ค์ํ AI ๊ธฐ์ ๋ค๊ณผ ๊ฒฐํฉํ์ฌ ์๋ ๋ฌธ์ ์์ฝ AI, ์ค์๊ฐ ์์ฑ AI ๋น์ ๋ฑ์ ์๋น์ค๋ฅผ ์ ๊ณตํ ์ ์์.
๐น LLM์ด ๊ฐ์ ธ์ฌ ๋ณํ : ์ ๋ฌด ์์ฐ์ฑ ํฅ์, ๊ธ๋ก๋ฒ ์ํต ์ง์, ์ฐฝ์์ ์ธ ์ฝํ ์ธ ์ ์ ๋ฑ์ ๋ฐํ์ผ๋ก ์ธ์์ ๋ณํ์ํค๊ณ ์์.
Suwan Kim | AI Edu | Upstage