GPT 기술의 발전 과정

GPT-10I 나오기 이전에는 NLP(Natural Language Processing) 모델을 사용해 Al를 학습시켰습니다. 이 때는 AI가 특정 태스크(분류, 번역)만을 위해 만들어졌습니다. 응용 작업은 불가능했습니다. 초거대시로 불리는 GPT의 기술은 핵심 키워드 딥러닝, 트랜스포머, 퓨샷러닝, 자기주도학습을 통해 이해할 수 있습니다.

인공지능을 학습시키는 것을 '머신러닝(기계학습)'이라 하고, 이 머신러닝 중 신경망을 통해 학습시키는 것이 '딥러닝'입니다. 인공지능을 딥러닝으로 학습시킨다는 것은 컴퓨터가 고양이와 개의 특성을 직접 찾아내는 과정입니다. 딥러닝 이전에는 사람이 구체적 특성을 알려주면 알려준 것을 학습하여 고양이와 개를 구분했습니다. 딥러닝에서는 입력값(ex. 잠든 고양이 찾아줘)에 AI가 직접 찾아낸 특징을 반영해 출력값을 만들어내는데, 실제값과 출력값의 차이를 최소화하는 가중치를 찾는 게 AI의 실력입니다. 이 가중치를 파라미터(매개변수)라고 부릅니다. 학습할 수 있는 데이터가 많을수록, 또 가중치가 많을수록, 실제값과 출력값의 오차가 적어집니다.

트랜스포머 등장 → 초거대시의 도화선

AI 발전에 있어서 가장 큰 걸림돌은 대량 데이터를 처리하는 것이 어렵다는 점이었습니다. 2017년 구글이 발표한 '트랜스포머'란 알고리즘이 이를 가능하게 했습니다.

번역 작업을 예로 들어보겠습니다. 트랜스포머 이전에 사용한 RNN(순환적 신경망, Recurrent Neural Network)은 번역할 때 바로 앞뒤 단어와의 상관관계만 순환적으로 고려했습니다. 그래서 문장이 길어지면 오류가 늘었습니다. 반면 트랜스포머는 전체 문장에서 한 단어가 다른 모든 단어들과 갖는 연관관계를 수학적으로 계산해서 결괏값을 찾아냈습니다(Attention 매커니즘). 이에 여러 개의 인코더를 쌓아올린 'Multi-Headed Attention' 방식으로 대량 데이터를 순차적이 아니라 병렬로 처리할 수 있게 해 학습 속도를 대폭 향상시켰습니다.

엔비디아의 발표에 따르면 트랜스포머 이전 AI 모델이 학습할 때 사용하는 연산 능력이 2년 동안 8배 증가했다면, 트랜스포머 이후에는 2년 동안 275배 성장했습니다.

퓨샷러닝과 자기주도학습은 GPT-3 발전의 기폭제가 됐다

GPT-3는 사전훈련된 모델입니다. 이름도 Generative Pre-trained(사전훈련) Transformer의 약자입니다. 단순히 한글을 영어로 번역하는 일을 하는 것이 아니라 언어 전반에 대해 사전훈련을 시키면 미세조정(Fine Tuning)을 통해 번역뿐만 아니라 글쓰기, 대답하기 등이 가능한 것이 핵심 특징입니다. 이때 미세조정을 하려면 추가로 대량의 데이터가 필요한데, 적은 데이터로 새로운 작업을 학습할 수 있게 되는 것을 '퓨샷러닝(few-shot learning)'이라고 합니다. 퓨샷러닝이 가능한 것은 '자기지도학습(Self-supervised learning)'을 할 수 있기 때문입니다. 과거 일반적인 지도학습은 사람이 직접 라벨링 한 데이터를 제공해야 그 라벨을 기반으로 아는 것에 미세한 디테일을 쌓아나갔습니다.

그러나 자기지도학습은 AI가 주어진 데이터를 기반으로 지식을 쌓아 직접 다른 데이터를 예측하고 스스로 학습해 나가는 기법입니다. 따라서 지금까지 데이터 라벨링이 힘든 작업이었는데, 이 과정이 생략되자 훨씬 간편하게 AI를 활용할 수 있게 된 것입니다.

GPT-3가 ChatGPT로 탄생하는 과정에 'lnstructGPT'가 있습니다. InstructGPT는 GPT-3의 가장 심각한 문제점으로 지적받던 '편향된 문장'을 완화한 모델입니다. GPT-3는 인터넷에 존재하는 데이터를 대규모 데이터세트로 설정해 AI에 학습시켰기 때문에, '진실이 아닌 문장', '해로운 문장', '공격적인 문장'을 생성하는 경향이 있다고 지적받았습니다. 대표적으로 반(反) 이슬람에 대한 편견, 성적 과격한 단어 등 윤리, 인권적 문제들이 나타났습니다. 그래서 OpenAI는 학습모델을 개량해 편향성을 억제하고, 문장 생성 정밀도를 향상시킨 InstructGPT를 개발했습니다.

GPT-4, 2023년 출시 예상

올해 GPT-4가 출시됩니다. 일각에서는 100 이상의 파라미터를 학습시켰다는 예상도 했지만, OpenAI의 Sam Altman CEO는 GPT-3보다 파라미터가 엄청 늘어나지는 않을 것이라고 설명했습니다. 왜냐하면 파라미터만 무조건적으로 늘린다고 결괏값이 정교해지는 것이 결코 아니기 때문입니다. 이미지와 텍스트 등 다양한 출력값을 가질 수 있는 멀티모달이란 소문도 잘못된 것이라고 설명했습니다. GPT-4 역시 텍스트 온리 모델입니다.

AI 관련 투자 및 조직 구성

구글의 인공지능 굴기는 2000년 창업자 래리 페이지가 "구글의 최종 도착지는 AI"라고 선언하면서 시작됐습니다. 내부 연구소에서 자율주행과 인공 신경망을 연구하던 구글은 2010년대부터는 M&A를 통해 역량을 강화했습니다. 특히 2014년에 인수한 딥마인드는 중요한 이정표를 세웠습니다. 바둑 인공지능 프로그램 AlphaGo가 2015년 유럽 챔피언 판 후이에 이어 2016년 이세돌 9단과의 대결에서 승리를 거두며 인공지능에 대한 사람들의 관심이 비약적으로 증가했습니다.

인수 및 지분 투자를 통해 연구 개발 인력을 확보한 구글은 구글 브레인을 중심으로 인공 지능 연구 개발을 진행하고 있습니다. 구글 브레인은 23개 연구 영역에서 2,315명의 인력을 운영하고 있습니다. 또한 2017년 AI 스타트업 자금 지원을 위한 Gradient Vet니res를 출범해 2022년 12월 기준으로 총 161개 기업을 지원하며 역량 확보를 다각적으로 진행 중입니다.

기술 현황

구글의 AI 역량은 보유 특허에서도 나타납니다. 특허 분석 기업 LexisNexis가 발표한 기계학습 특허 보유 기업 순위에서 구글의 모회사 알파벳이 MS를 제치고 1위를 차지했습니다. 2019년 순위는 MS가 1위, 알파벳이 2위였으나 2020년부터 순위가 뒤바뀌었습니다. 2014년 딥마인드 인수로 취득한 216건의 특허를 기점으로 유효 특허수가 폭발적으로 성장, 2022년 2,303건의 특허를 보유 중입니다. 전체 특허 중 기계학습 관련 건이 9.6%로 인공지능에 대한 구글의 열정을 알 수 있습니다.