비전공자 문과생도 쉽게 이해하는 ChatGPT 발전 과정과 원리 - 쉬운 설명 버전

비전공자 문과생도 ChatGPT 쉽게 이해할 수 있어요

마침내 찾아온 대 인공지능 시대입니다. ChatGPT가 출시된 지 얼마 지나지 않아 1억 명의 사용자를 확보했고, 말만 하면 그림을 그려주는 AI 서비스들도 완성도가 엄청나게 높아졌습니다. 앞으로 다가올 몇 년은 격변의 시기이자 기회의 시간이 될 것이라고 감히 예상해 봅니다.

 

세상을 바꿀 기술이 등장하면 그와 함께 엄청난 변화와 기회들이 쏟아졌죠. 인터넷이 등장하고 아이폰이 나오는 것 이상의 변화가 앞으로 찾아올 것입니다. 이 변화의 중심에 있는 인공지능과 ChatGPT가 발전해 온 과정 및 작동 원리를 이해할 수 있다면 취업, 승진, 사업 등 다방면에서 아주 유리한 위치에 설 수 있게 될 것이고요. 또한 ChatGPT의 한계를 이해하면 어떤 영역에서 ChatGPT를 활용할지에 대해서도 더 현명한 결정을 할 수 있게 됩니다.

 

AI가 뭔지 전혀 모르신다고요? 비전공자에 문과생이라 설명해 줘도 모른다고요? 이번 포스팅에서는 수식과 알고리즘, 기술적인 이야기는 쏙 빼고 직관적으로 이 기술의 본질만 이해하기 쉽게 설명을 드릴 테니 안심하세요. 그럼 시작해 볼까요?

 

 

인공지능과 머신러닝의 역사

먼저 오늘의 ChatGPT가 있기 전까지 인공지능이 과정을 거쳐 발전해 왔는지 살펴보겠습니다.

 

규칙 기반 인공지능의 시대

인공지능은 1950년부터 시작되었다고 합니다. 이 시기의 인공지능을 소위 ‘규칙 기반’ 인공지능이라고 부릅니다.

이때는 기계에게 세상이 돌아가는 규칙을 설명해 줬습니다. 예를 들면, 호랑이는 이렇게 생겼고 이런 특징을 가지고 있다고 알려주는 것이죠. 혹은 영어의 문법 규칙은 이런저런 것들이 있고, 문장을 만들 때는 이런 규칙에 따라 생성해야 한다고 컴퓨터에 입력을 시킵니다. 하지만 언어라는 것은 너무 복잡하고 다양해서 제대로 된 성능을 발휘하지 못했습니다.

 

 

학습기반 인공지능 (머신러닝) 시대

규칙 기반 인공지능의 한계를 극복하기 위해 1980년대 새롭게 고안된 방법입니다.

어린이들이 세상을 어떻게 알아가고 이해하게 될까요. 부모님이 자식들에게 세상의 규칙을 하나하나 설명해 줘서 세상을 이해하게 되는 것일까요? 결코 그렇지 않죠. 어릴 적 우리는 스스로 경험하고 학습하고 세상에서 발생하는 모든 현상(데이터)들을 경험하고 받아들이면서 세상을 인식하고 이해하게 됩니다.

 

학습기반 인공지능은 이에 기반해서 나온 모델입니다. 많은 데이터들을 주입하고 그것을 바탕으로 세상을 이해하게 만드는 것이죠. 예를 들어, 호랑이가 가진 특징(발이 네 개다, 얼룩무늬가 있다 등)을 알려주는 것이 아니라, 많은 호랑이 사진을 보여주면서 자연스럽게 호랑이의 개념을 이해하게 만드는 것이죠.

 

이 방법은 30년 정도 시도했으나 2000년 초에 실패했습니다. 왜일까요? 뒤에서 나오겠지만 세상을 이해하고 언어를 이해할 만큼 충분한 데이터가 공급되지 않았기 때문입니다.

 

 

심층학습 (딥 러닝) 시대

학습기반 인공지능(머신러닝)은 2010년에 다시 이름을 바꿔서 등장합니다. 이름을 바꿔서 등장했다는 말에서 알 수 있듯이, 머신러닝과 딥러닝의 알고리즘 자체는 큰 차이가 없었습니다. 그러나 데이터의 양에서 비교할 수 없이 큰 차이가 있었죠. 놀랍게도 데이터 사이즈가 늘어나니 기계가 세상을 이해하기 시작합니다.

 

이 시기의 인공지능의 특징은 아래와 같습니다.

1. 새로운 것을 생성해 내는 도구가 아니라 엄청난 양의 데이터를 기반으로 세상을 인식할 수 있는 도구다 (고양이와 호랑이를 구분한다, 사람의 얼굴을 인식한다 등)
2. 병렬 처리가 가능하다. 이게 불가능하다면 이렇게 어마어마하게 많은 데이터와 계산량을 감당하기 어려웠을 것입니다.

위에서 언급한 것처럼 아직은 새로운 것을 생성해 내는 것이 아닌, 구분하고 인식하는 용도로 주로 사용되게 됩니다.

 

 

생성형 인공지능 ChatGPT의 발전 과정과 작동 원리

2015년 OpenAI 가 설립됩니다. 맞습니다. 현재 ChatGPT를 개발한 회사죠. 처음 설립될 시기에는 NGO로 시작했다고 합니다. 그 이후 여러 AI 모델을 개발했는데요. 잠시 후에 다시 등장할 예정입니다.

 

2017년 구글에서 ‘Attention is All You Need’라는 논문을 발표합니다. 여기서 트랜스포머 알고리즘이라는 것을 제시하는데요. 이게 ChatGPT와 대규모 언어 모델(LLM)의 토대가 됩니다.

 

잠깐, 트랜스포머 알고리즘이란 뭘까요?

• 자연어 처리에 활용되는 딥 러닝 모델
• 수천 억 이상의 데이터를 학습할 수 있는 능력을 가지고 있어 대규모 언어 모델의 토대가 됨
• 언어 처리가 까다로운 이유는 언어에는 순서와 문법이 존재한다는 것인데, 이 알고리즘에서는 문장의 순서를 배제함. 대신 대량의 텍스트와 인터넷에 있는 모든 글에서 단어와 단어, 문장과 문장 사이의 확률 관계를 미리 학습함

 

여기서 주목할만한 것은 순서를 무시하고 단어와 단어 사이의 확률 관계를 미리 학습한다는 대목입니다. 예를 들어, “In the morning, we eat ___”이라는 문장이 있다고 해보죠. 이때, 빈칸에 들어갈 단어로 apple과 iPhone 중 apple이 훨씬 더 높은 확률을 가질 것입니다. 달리 말하면, iPhone대신 apple이 들어간 문장이 책과 인터넷에 훨씬 더 많았을 것입니다. 이렇게 다음 단어를 예측하게 되는 것이죠.

 

다시 돌아가볼게요. 이 트랜스포머 알고리즘이 발표되고 나서 OpenAI에서 이 알고리즘을 활용해서 GPT라는 것을 만들어냅니다. 이쯤에서 ChatGPT의 GPT가 무슨 의미인지 알아볼까요?

 

GPT는 Generative Pretrained Transformer의 약자입니다. 하나씩 쪼개보면 아래와 같습니다.

• 디지털 세상에 있는 모든 글을 사전 학습한(Pretrained)
• 구별과 식별에 그치지 않고 생성(Generative)을 할 수 있는
• 트랜스포머(Transformer, 위에서 설명)

 

ChatGPT의 등장으로 구글이 위협을 받고 있는데요. 그 핵심 기반이 되는 기술(트랜스포머)이 구글에서 발표되었다는 사실이 참 아이러니하지 않나요?

 

아무튼 GPT가 2018년 출시되고, 이어서 GPT2, GPT3가 각각 2019, 2020년에 출시됩니다.

출처: https://medium.com/design-bootcamp/how-chatgpt-really-works-explained-for-non-technical-people-71efb078a5c9

GPT 첫 번째 버전에서는 7천 권의 미출간 도서를 이용해서 사전 학습을 시켰습니다. 상대적으로 적은 양의 데이터였죠. GPT-2에서는 데이터를 훨씬 더 많이 제공했습니다. 15억 개의 매개변수와 수백만 개의 웹페이지를 모델에 공급해 줬죠. GPT-3에서는 15억 개의 매개변수를 1750억 개로 늘리고 수백만 개의 웹페이지에 그치지 않고 수천억 개의 단어로 구성된 데이터를 제공했습니다.

 

 

데이터만 무작정 많이 제공한다고 사람의 의도를 잘 따르지는 못한다?

GPT가 세 번째 버전까지 발전하면서 알게 된 사실은, 무작정 많은 데이터와 큰 모델을 사용한다고 해서 인간의 의도를 잘 반영하게 되는 건 아니라는 것이었습니다. 그래서 실제로 만들어진 문장에 대해 사람이 피드백을 주면서 좋은 문장을 만들어내는 강화 학습을 진행합니다.

 

GPT로 수많은 문장을 만들어내고 그걸 사람이 직접 좋은 문장인지 아닌지 판단하고 그 피드백 결과를 다시 GPT에 입력시키는 것이죠. 그렇게 되면 점점 더 정확한 문장을 만들 수 있게 되겠죠? 실제로 제3세계 국가에서 수 천명의 사람들을 고용해서 이런 작업을 했다고 합니다.

 

GPT-3에 이런 강화 학습이 더해져서 만들어진 것이 바로 ChatGPT입니다. 자동으로 생성해 낸 문장에 인간의 피드백이 대량으로 주입되었기 때문에 훨씬 정교하고 자연스러운 대화를 할 수 있게 되었습니다.

 

 

ChatGPT 관련 흥미로운 사실들과 인사이트

• 왜 영어가 한국어보다 정확할까요?
  • 모델의 정확도는 무엇이 결정하는지 앞서 알아봤습니다. 바로 학습을 했던 텍스트의 양과 인간의 피드백의 양에 따라 정확도가 결정되죠. 영어가 한국어보다 훨씬 정확한 이유는 영어로 가장 많이 학습을 했고 강화 학습도 진행했기 때문입니다. 따라서 영어로 질문하면 훨씬 정확한 답변을 받을 수 있는 것이죠.
• 구글에서 먼저 개발한 알고리즘인데 왜 대화형 AI를 먼저 출시하지 못했을까요?
  • 사실 ChatGPT에 앞서 구글은 람다라는 인공지능을 개발했습니다. 다만 내부적으로 엄청난 논의가 있었다고 합니다. 왜냐하면, 무엇이든 정확한 답변을 줄 수 있는 인공지능이 출시된다면, 검색을 하고 웹사이트를 돌아다니는 수고를 감수하기보다는 많은 사람들이 똑똑한 인공지능에 물어볼 것이기 때문이죠. 구글의 비즈니스 모델에서 광고가 대부분의 수익을 차지하기 때문에 본인의 사업을 망칠 수 있는 신기술을 쉽사리 내놓기는 힘들었을 것입니다.
  • ChatGPT가 등장하자 구글이 바드를 급하게 내놓은 것에서 실제로 이런 배경이 있었다는 것을 유추할 수 있죠. 물론 기술의 완성도가 아직 낮다고 판단하기도 했다고 합니다.
    
    
• 작동하는 원리를 알았으니 ChatGPT의 한계도 유추해 볼 수 있겠다?
  • GPT는 사전 학습(Pretrained) 한 것을 바탕으로 답변을 내놓는 모델입니다. 실시간으로 정보를 받아들이고 검색을 하는 능력은 없기 때문에 최신의 정보를 반영하기는 힘듭니다.
  • 한편, 웹 상의 문서나 책 등에서 정보를 습득했기 때문에 정치, 종교, 문화적으로 편향된 의견을 제시할 수 있습니다. 가치 판단은 아직 인간의 영역이기 때문에 ChatGPT를 도구로서 적절히 활용하는 자세가 필요하겠습니다.

 

GPT4 출시. 기존 GPT 3.5 모델과 비교 정리 >

ChatGPT 버전 비교 - 새로 나온 GPT-4와 기존의 챗GPT (GPT-3.5)

 

ChatGPT로 유튜브 영상을 보지 않고 내용 요약하는 방법 >

구글 검색하면서 ChatGPT 같이 활용하는 방법 - ChatGPT for Google