AI 기술: 대규모 언어 모델

대규모 언어 모델이 뭐예요?

여러분은 챗봇과 이야기해 본 적이 있나요? 질문을 하면 척척 대답해 주는 인공지능 말이에요. 그 안에는 대규모 언어 모델이라는 것이 들어 있어요. 영어로는 LLM이라고 불러요.

이름이 어렵지요? 하나씩 뜯어 보면 쉬워요. 대규모는 아주아주 크다는 뜻이에요. 언어는 우리가 쓰는 말과 글이에요. 모델은 컴퓨터 속의 똑똑한 계산 장치예요. 합치면 이렇게 돼요. "말과 글을 다루는, 아주 큰 컴퓨터 두뇌!"

책을 엄청나게 많이 읽은 친구

대규모 언어 모델은 어떻게 똑똑해졌을까요? 비밀은 읽기에 있어요.

책을 딱 한 권만 읽은 친구를 떠올려 보세요. 그 친구는 그 책 이야기만 할 수 있겠지요. 그런데 도서관에 있는 책을 몽땅 읽은 친구가 있다면 어떨까요? 그 친구는 공룡 이야기도, 우주 이야기도, 요리 이야기도 할 수 있을 거예요.

대규모 언어 모델이 바로 그런 친구예요. 사람이 평생 읽어도 다 못 읽을 만큼 어마어마하게 많은 글을 읽으면서 공부했어요. 이렇게 공부시키는 것을 훈련이라고 불러요.

위 그림을 보세요. 해가 지날수록 인공지능을 훈련하는 데 쓰는 계산의 양이 점점 커지고 있어요. 그만큼 더 크고 똑똑한 모델이 계속 나오고 있다는 뜻이에요.

비밀은 "다음 낱말 맞히기" 놀이

그런데 이 컴퓨터 두뇌는 어떻게 말을 만들까요? 사실은 아주 단순한 놀이를 하고 있어요. 바로 다음에 올 낱말 맞히기예요.

친구가 "아침에 일어나서 세수를..."이라고 말하면, 여러분은 "했어요"가 올 거라고 짐작할 수 있지요? 대규모 언어 모델도 똑같아요. 지금까지 나온 낱말들을 보고, 다음에 올 낱말을 예측해요. 그 낱말을 붙이고, 또 다음 낱말을 예측하고... 이걸 아주 빠르게 반복하면 긴 문장이 완성돼요.

두뇌 속 설계도, 트랜스포머

대규모 언어 모델의 두뇌 속에는 트랜스포머라는 특별한 설계도가 들어 있어요. 로봇 영화에 나오는 그 트랜스포머가 아니에요! 컴퓨터 과학자들이 만든 신경망 구조의 이름이에요.

신경망은 사람의 뇌를 흉내 낸 계산 방법이에요. 우리 뇌에 신경 세포가 서로 연결되어 있는 것처럼, 신경망도 수많은 계산 칸이 서로 연결되어 있어요.

위 그림이 진짜 트랜스포머 설계도예요. 복잡해 보이지만 걱정하지 마세요. "글이 들어와서 여러 계산 방을 지나 다음 낱말이 나온다"라고만 기억하면 충분해요.

어디에 집중할까? 어텐션의 힘

트랜스포머의 가장 큰 무기는 어텐션이에요. 우리말로 하면 "집중하기"예요.

이 문장을 보세요. "강아지가 공을 물고 그것을 떨어뜨렸다." 여기서 "그것"은 무엇일까요? 맞아요, "공"이에요. 우리는 문장을 읽으며 낱말들이 서로 어떻게 이어지는지 자연스럽게 알아차려요.

어텐션은 컴퓨터가 이걸 하게 해 줘요. 어떤 낱말을 볼 때, 문장 속 다른 낱말 중 어떤 것이 중요한지 점수를 매겨서 그쪽에 집중하는 거예요. 게다가 이런 집중 장치가 여러 개 있어서, 각자 다른 기준으로 문장을 살펴봐요. 마치 탐정 여러 명이 한 사건을 서로 다른 눈으로 조사하는 것 같지요.

무엇을 잘할까요?

이렇게 훈련된 대규모 언어 모델은 여러 가지 일을 할 수 있어요.

• 글쓰기 — 이야기, 편지, 설명글을 만들어요.
• 요약하기 — 긴 글을 짧고 알기 쉽게 줄여요.
• 번역하기 — 한국어를 영어로, 영어를 한국어로 바꿔요.
• 분석하기 — 글을 읽고 어떤 내용인지, 어떤 기분이 담겼는지 살펴봐요.

우리가 쓰는 챗봇들은 모두 이 기술 위에 세워져 있어요. 그래서 대규모 언어 모델을 챗봇의 기초 공사라고 부를 수 있어요. 요즘은 전 세계 과학자들이 이 기술을 연구하느라 아주 바빠요.

위 그래프처럼, 대규모 언어 모델에 관한 연구 논문이 해마다 폭발적으로 늘고 있답니다.

조심할 점도 있어요

하지만 대규모 언어 모델이 항상 옳은 것은 아니에요. 왜 그럴까요?

다시 "책 많이 읽은 친구"를 떠올려 보세요. 만약 그 친구가 읽은 책에 틀린 내용이 있었다면 어떻게 될까요? 친구는 틀린 내용을 사실인 줄 알고 말하겠지요. 또 읽은 책들이 한쪽으로 치우친 생각만 담고 있었다면, 친구의 말도 치우치게 될 거예요.

대규모 언어 모델도 똑같아요. 훈련에 쓴 글에 틀리거나 치우친 내용이 섞여 있으면, 모델의 대답도 믿기 어려워져요. 그래서 인공지능의 대답을 들을 때는 이렇게 생각하는 습관이 필요해요. "정말 맞는 말일까? 한번 확인해 봐야지!"

정리해 볼까요?

1. 대규모 언어 모델은 말과 글을 다루는 아주 큰 인공지능 두뇌예요.
2. 어마어마하게 많은 글을 읽으며 훈련했어요.
3. 기본 원리는 다음 낱말 맞히기예요.
4. 속에는 트랜스포머라는 설계도와 어텐션이라는 집중 장치가 있어요.
5. 글쓰기, 요약, 번역, 분석을 잘하고, 챗봇의 기초가 돼요.
6. 훈련 자료가 틀리거나 치우치면 대답도 틀릴 수 있으니, 스스로 확인하는 습관이 중요해요.

다음에 챗봇과 이야기할 때, 그 안에서 "다음 낱말 맞히기" 놀이를 엄청나게 빨리 하고 있는 커다란 두뇌를 한번 떠올려 보세요. 훨씬 재미있게 느껴질 거예요!