첫 번째 칩은 생성 AI에 최적화된 '마이크로소프트 애저 마이아(Azure Maia) AI 엑셀러레이터'입니다. 엔비디아와 직접적으로 경쟁하는 AI GPU입니다. 두 번째 제품은 마이크로소프트 애저 코발트(Cobalt) CPU입니다. 이 칩은 클라우드에서 범용 컴퓨팅 워크로드를 실행하도록 맞춤화한 기반 프로세서입니다.

마이크로소프트, 생성 AI 인프라 구축의 마지막 단추를 끼우다

마이크로소프트는 2016년 이전에 클라우드 센터를 기성품 서버 등으로 구성했습니다. 이후 클라우드 서비스 수요가 증가하면서 자체 서버와 랙을 맞춤 제작해 비용을 절감하고 고객에게 일관된 경험을 제공하기 시작했습니다. 마이크로소프트가 자체 데이터센터용 서버와 랙을 만들면서 가장 아쉬웠던 부분이 반도체였습니다. 반도체 공급 부족 문제가 발생하면 데이터센터까지 영향을 받았습니다. 마이크로소프트는 이때부터 자체 칩 개발에 집중했습니다.

마이크로소프트는 반도체 개발도 섭렵하며 소프트웨어, 서버, 냉각시스템에 이르기까지 모든 인프라를 수직 계열화했습니다. 마이아 100 GPU는 2024년 초 마이크로소프트 데이터센터에 들어갑니다. 초기에는 마이크로소프트 코파일럿(Microsoft Copilot)이나 애저 오픈AI 서비스(Azure OpenAI Service)와 같은 서비스를 지원할 계획입니다. 마이크로소프트는 전용 칩 개발을 완성하면서 AI 혁신을 지원하는 인프라를 재구성할 계획입니다.

반도체는 클라우드 서비스와 밀접하게 관련됩니다. 데이터센터는 사실상 1과 0의 디지털 흐름을 처리하는 수십억 개의 트랜지스터를 제어하는 곳입니다. 마이크로소프트가 개발한 칩은 데이터 센터 내부에 쉽게 들어갈 수 있는 맞춤형 랙(Rack) 안에 있는 서버보드에 부착됩니다. 마이크로소프트는 자체 데이터센터에 최적화된 칩으로 전력은 낮추고 성능과 지속가능성, 비용을 최적화하는 데 집중할 예정입니다.

두 번째 칩인 코발트 100 CPU는 ARM 아키텍처를 기반으로 개발됐습니다. 클라우드 네이티브 제품에서 더 높은 효율성과 성능을 제공하도록 최적화했습니다. 마이크로소프트는 데이터센터 전체에서 '와트당 성능'을 최적화하려 합니다. 이는 본질적으로 소비되는 각 에너지 단위에 대해 더 많은 컴퓨팅 성능을 얻는 것을 의미합니다.

마이크로소프트는 오픈AI와 협력해 생성 AI를 다양한 제품에 내재화한 데 이어 반도체칩까지 개발하며 소프트웨어부터 하드웨어까지 서비스 최적화를 시도했습니다. 이로써 현재 데이터센터 자산 사용을 최적화하고 기존 설치 공간 내에서 서버 용량을 최대화하는 길을 열었다고 볼 수 있습니다.

구글의 TPU에 이어 아마존, 메타, 화웨이도 자체 칩 개발 나서

구글은 2013년부터 AI 칩 '텐서 프로세서 유닛'(TPU: Tensor Processing Unit) 성능 향상에 집중하고 있습니다. 구글의 TPU는 기계학습을 위해 특별히 설계된 칩입니다. TPU는 초당 수조 개의 작업을 처리합니다. 기존 CPU나 GPU보다 빠른 데다 에너지 효율이 높고 전력 소모가 적습니다.

구글은 4월 자체 개발한 TPU v4를 약 4천여 개 집어넣은 AI 개발용 슈퍼컴퓨터 '팜'(PaLM)을 선보였습니다. 9월에도 기존 제품보다 AI 훈련·추론 성능이 좋아진 5세대 'TPU v5e'를 공개했습니다. 나아가 구글은 마벨(Marvell Technology)과 함께 네트워크 인터페이스 칩 '그래닛 리덕스'(Granite Redux)를 출시할 계획입니다.

구글 TPU는 텐서플로우(TensorFlow) 소프트웨어와 사용할 수 있도록 설계했습니다. 텐서플로우는 머신러닝을 위한 오픈소스 소프트웨어 라이브러리입니다. 구글은 이를 인공지능 모델을 훈련하는 데 사용합니다. TPU를 사용하면 인공지능 모델을 빠르고 효율적으로 학습시킬 수 있습니다. 이는 의료연구나 자율주행차, 일기예보 등 다양한 분야에 적용이 가능합니다.

아마존은 2015년 이스라엘 반도체 기업 안나푸르나 랩스(Annapurna Labs)를 인수하고 자체 AI 반도체인 '인퍼런시아'(Inferentia)와 '트레이니엄'(Trainium)을 내놓았습니다. 아마존의 데이터센터와 AI 음성인식 서비스에 적용 중입니다. 엔비디아 칩 공급이 부족한 틈을 타 자사 클라우드 고객을 공략하기 위해서입니다. AWS(Amazon Web Services)는 엔비디아 칩의 큰손이었지만 엔비디아가 자체 클라우드 서비스를 개발하면서 회사 간 갈등도 생겼습니다.

메타도 지난 5월 'MTIA'라는 자체 개발 AI 반도체를 공개했습니다. 중국의 화웨이도 엔비디아 A100 수준의 AI 반도체를 개발한 것으로 알려졌습니다.

AI 칩 스타트업, 삼바노바부터 리벨리온까지

소프트뱅크와 인텔 등은 2017년 설립된 AI 칩 스타트업 삼바노바(Sambanova)에 10억 달러를 투자했습니다. 삼바노바는 9월 4세대 SN40L프로세서를 출시했는데 이 칩에는 1,020억 개 이상의 트랜지스터가 들어있습니다. 최대 638테라플롭스(TFlops) 컴퓨팅 속도를 제공하고, AI와 관련된 데이터 흐름을 효율적으로 처리할 수 있도록 새로운 3계층 메모리 시스템도 갖췄습니다. 삼바노바는 AI 모델 크기가 커지면서 데이터 이동이 성능에 영향을 미친다고 설명했습니다. 메모리가 AI 칩의 주요 차별요소가 된다는 뜻입니다.

또 다른 스타트업 디-매트릭스(d-Matrix)는 GPT(Generative Pre-TrainedTransformer) 배포를 지원하는 칩을 개발하고 있습니다. 디-매트릭스는 9월 시리즈B 라운드에서 삼성, 미래에셋, 마이크로소프트와 미국의 스타트업 자문기업 플레이그라운드 글로벌(PlaygroundGlobal) 등에서 1억1,000만 달러를 투자받았습니다. 앞서 SK하이닉스가 투자를 진행한 바도 있습니다.

2019년 설립된 디-매트릭스는 챗GPT와 같은 생성 AI 애플리케이션을 지원하는 최적화된 칩을 설계합니다. 특히 AI 컴퓨터 코드가 더 효율적으로 실행될 수 있도록 하드디스크가 아닌 메인 메모리를 활용하는 '디지털 인메모리 컴퓨팅'을 도입해 활용 중입니다. 이 기술은 필요한 데이터를 처리할 때 에너지를 더 적게 사용하도록 합니다. 디-매트릭스는 올해 주로 평가용 칩을 구매하는 고객으로부터 1천만 달러의 매출을 올릴 것으로 예상하며, 2년 후에는 연간 7천만~7,500만 달러의 매출을 올릴 전망입니다.

텐스토렌트(Tenstorrent)는 2016년 설립된 AI 칩 스타트업입니다. 삼성과 현대 등이 3억3,500만 달러를 투자했습니다. 기업가치는 10억 달러로 추산됩니다. 이 회사는 삼성전자와 생산 협력을 체결했습니다.

한국 스타트업 리벨리온(Rebellions)도 경쟁에 참여했습니다. 박성현 칩 설계 엔지니어가 지난 2020년 설립한 리벨리온은 포브스에서 선정한 가장 빠르게 성장하고 있는 스타트업 중 하나입니다. 인공지능 모델 학습을 기반으로 모델을 통한 추론에 최적화된 시스템 반도체를 설계합니다.

리벨리온은 데이터센터용 AI 반도체 '아톰'(Atom)을 개발했습니다. 아톰은 현재 KT의 AI 전략 핵심인 신경망 처리장치(NPU) 인프라를 담당하고 있습니다. 리벨리온은 창업 2년 만에 글로벌 수준의 AI반도체를 출시했고, 지난해 620억 원의 시리즈A 투자를 유치하며 누적 투자금 1,120억 원을 달성했습니다.

챗GPT를 개발한 오픈AI도 자체 GPU 제작을 검토하고 있는 것으로 알려졌습니다. 오픈AI는 관련 제조사 인수를 위해 기업 실사 단계까지 진행한 것으로 전해집니다. 물론 오픈AI가 인수를 포함, 맞춤형 칩에 대한 계획을 실제 진행하더라도 개발되기까지는 수년이 걸릴 가능성이 높습니다. 직접 제작을 추진하는지도 아직 결정되지 않았습니다. AI 칩은 높은 기술력이 필요해 연간 비용이 수억 달러에 이를 수 있는 막대한 투자가 필요하지만, 성공이 보장되지는 않습니다. 마이크로소프트가 지난 11월 15일 이그나이트에서 자체 칩을 발표한 상황에서 오픈AI까지 칩을 설계할지는 미지수입니다.