1편에서 우리는 데니스 식당에서 출발한 작은 회사가 세계 최초의 GPU를 만들기까지의 여정을 따라왔습니다. 그리고 마지막에 한 가지 질문을 남겨두었습니다. 게임 그래픽을 그리던 회사가 어떻게 인공지능 시대의 심장이 되었을까요. 많은 분이 “칩 성능이 뛰어나서”라고 답하지만, 그것은 절반의 답에 가깝습니다. 진짜 비밀은 하드웨어가 아니라 그 위에 쌓아 올린 소프트웨어, 바로 엔비디아 쿠다(CUDA)라는 이름의 해자(Moat)였던 것입니다.
이 구조를 모르면 경쟁사가 비슷한 성능의 칩을 내놓아도 왜 쉽게 추격하지 못하는지 이해하기 어렵습니다. 이 글은 엔비디아 공식 실적 발표와 위키피디아, IT 전문지 보도를 교차 확인해 정리한 기술 분석입니다. 끝까지 읽으시면 2006년 쿠다의 탄생, 2012년 알렉스넷이 연 시대, 그리고 2026년 데이터센터 기업으로 변신한 엔비디아의 현재를 차례로 보시게 됩니다.
1편의 씨앗 — ‘병렬 연산’이라는 떡밥을 회수하며
1편의 마지막에서 우리는 1999년 지포스 256에 담긴 병렬 연산이라는 씨앗을 언급했습니다. 화면의 수많은 픽셀을 한꺼번에 그려내기 위해, GPU는 작은 연산을 동시에 처리하도록 설계되었습니다. 바로 이 구조가 훗날 인공지능 학습에 가장 잘 맞는 도구가 됩니다.
이 대목을 이해하려면 GPU와 CPU의 근본적인 차이를 먼저 짚어야 합니다. 흔히 CPU를 한 명의 뛰어난 수학 교수에, GPU를 수천 명의 초등학생에 빗댑니다. 미적분 같은 복잡한 문제는 교수 한 명이 빠르게 풀지만, 단순한 덧셈을 한꺼번에 수백만 번 처리하라면 초등학생 수천 명 쪽이 훨씬 빠릅니다. 그리고 AI 학습의 본질은 바로 그 ‘단순한 곱셈과 덧셈의 거대한 반복’입니다.
GPU와 CPU는 어떻게 다른가
| 구분 | CPU (중앙처리장치) | GPU (그래픽처리장치) |
|---|---|---|
| 코어 구조 | 소수의 강력한 코어 | 수천 개의 단순한 코어 |
| 처리 방식 | 복잡한 작업을 순차 처리 | 단순 연산을 병렬 처리 |
| 비유 | 한 명의 수학 교수 | 수천 명의 초등학생 |
| 잘하는 일 | 운영체제·논리 분기 | 행렬 곱셈·영상·AI 학습 |
표를 보면 두 장치의 역할이 갈린다는 점이 분명해집니다. 문제는, 2000년대 초반까지 이 강력한 병렬 연산 장치를 ‘게임 화면 그리기’ 외의 용도로 쓰기가 매우 까다로웠다는 점입니다.
2006년, 쿠다(CUDA)가 GPU를 게임 밖으로 꺼내다
쿠다 이전에도 과학자들은 GPU의 연산력을 탐냈습니다. 다만 그 시절에는 모든 계산을 일부러 그래픽 작업인 척 위장해야 했습니다. 행렬 곱셈을 하고 싶어도 ‘이건 픽셀 색을 칠하는 작업입니다’라고 GPU를 속여야 했던 셈입니다. 이런 우회 방식을 GPGPU(범용 GPU 연산)라고 불렀는데, 수학과 그래픽 양쪽에 통달한 소수만 다룰 수 있었습니다.
엔비디아는 2006년 11월, 이 장벽을 무너뜨립니다. G80 아키텍처를 적용한 지포스 8800과 함께 ‘쿠다(CUDA, Compute Unified Device Architecture)’를 공개한 것입니다. G80은 그래픽 전용으로 나뉘어 있던 회로를 128개의 통합 셰이더 코어 하나로 묶었습니다. 덕분에 개발자는 그래픽 흉내를 낼 필요 없이, 익숙한 C 언어에 약간의 확장 문법만 더해 GPU에 직접 명령을 내릴 수 있게 된 것입니다.
회사는 같은 시기에 화면 출력 단자를 떼어낸 연산 전용 제품군 ‘테슬라(Tesla)’도 함께 내놓았습니다. GPU가 더 이상 모니터에 그림을 띄우는 부품이 아니라, 데이터센터에서 계산을 돌리는 범용 가속기가 되는 출발점이었죠. 이 결정은 당시 회사 매출에 거의 도움이 되지 않았고, 일부 투자자는 “왜 게임 회사가 연구용 소프트웨어에 돈을 쓰느냐”고 의아해했습니다. 그러나 젠슨 황은 이 투자를 멈추지 않았습니다.
2012년 알렉스넷(AlexNet), 우연이 필연으로 바뀐 순간
씨앗이 싹을 틔운 해가 바로 2012년입니다. 토론토 대학의 제프리 힌턴 교수와 두 제자 알렉스 크리지에프스키, 일리야 수츠케버는 이미지 인식 대회 ‘이미지넷(ImageNet)’에 한 모델을 출품했습니다. 이것이 딥러닝 역사의 분기점이 된 ‘알렉스넷’이죠.
이들이 사용한 장비는 슈퍼컴퓨터가 아니었습니다. 일반 소비자용 그래픽카드인 지포스 GTX 580 두 장이 전부였죠. 이 GPU들을 쿠다로 묶어 신경망을 학습시키자, 결과는 학계를 흔들어 놓았습니다. 알렉스넷은 2012년 이미지넷 대회에서 오류율 15.3%를 기록하며 우승했는데, 2위 팀의 26.2%와는 큰 격차였습니다. 수십 년간 다듬어 온 기존 방식들을 단숨에 앞지른 결과입니다.
이 사건이 남긴 메시지는 단순했습니다. GPU와 쿠다만 있으면, 거대한 연구실이 아니어도 누구나 깊은 신경망을 학습시킬 수 있다는 사실이었죠. 전 세계 연구자들이 같은 길을 따라 달려들었고, 딥러닝 연구는 짧은 시간에 빠르게 늘어났습니다. 그 모든 실험의 토대에는 엔비디아 GPU와 쿠다가 깔려 있었죠. AI를 연구하려면 자연스럽게 그 회사의 하드웨어를 사야 하는 흐름이 이때 자리를 잡습니다.
자세한 배경은 위키피디아 AlexNet 항목에서도 확인하실 수 있습니다.
해자는 칩이 아니라 소프트웨어였다
여기서 1편이 던진 떡밥의 정답이 드러납니다. 엔비디아의 진짜 무기는 가장 빠른 칩이 아니라, 그 칩을 둘러싼 소프트웨어 생태계였습니다. 경쟁사가 비슷한 성능의 GPU를 만들어도, 개발자들이 십수 년간 쌓아 온 쿠다 환경을 한꺼번에 옮겨오기는 어렵기 때문입니다.
쿠다가 해자로 깊어진 과정은 누적의 역사였습니다. 이 회사는 2006년 이후 신경망 연산을 빠르게 처리하는 cuDNN, 행렬 연산 라이브러리 cuBLAS, 추론 최적화 도구 TensorRT 같은 도구를 꾸준히 보탰습니다. 대학 강의와 무료 교육 자료를 통해 쿠다를 배운 개발자도 수백만 명 규모로 늘어났죠. 연구자는 쿠다로 논문을 쓰고, 기업은 그 논문을 제품에 옮기며, 그 제품이 다시 엔비디아 GPU를 부르는 선순환이 만들어졌습니다. 이렇게 한번 형성된 생태계는 단순한 가격 경쟁으로는 흔들기 어렵습니다.
| 연도 | 사건 | 해자의 의미 |
|---|---|---|
| 2006 | 쿠다(CUDA) + G80(지포스 8800) | GPU를 범용 연산(GPGPU)으로 개방 |
| 2012 | 알렉스넷, GTX 580 두 장 | 딥러닝과 GPU의 결합, AI 학습 표준의 시작 |
| 2014~ | cuDNN·cuBLAS·TensorRT 누적 | 라이브러리로 전환 비용을 높임 |
| 2022 | H100 (호퍼 아키텍처) | 생성형 AI 학습의 기준 가속기 |
| 2024 | 블랙웰 B200·GB200 | 랙 단위 AI 인프라로 확장 |
| 2026 | 베라 루빈(Vera Rubin) 예고 | 에이전트 AI 시대 대비 |
표에서 보이듯 쿠다의 발전은 한 번의 도약이 아니라 20년에 걸친 축적이었죠. 경쟁사 입장에서는 칩 하나를 따라잡는 것보다, 이 누적된 소프트웨어 자산과 개발자 습관을 넘어서는 일이 훨씬 까다로운 숙제였습니다.
2026년, ‘게임 회사’는 데이터센터 기업이 되었다
그렇다면 오늘의 엔비디아는 어떤 모습일까요. 2026년 5월 발표된 최근 분기 실적(2027 회계연도 1분기)을 보면 변화가 또렷합니다. 분기 총매출은 약 816억 달러였고, 이 가운데 데이터센터 부문이 약 752억 달러로 전체의 92%가량을 차지했습니다. 한때 게임 그래픽카드를 팔던 회사의 매출 대부분이, 이제는 AI를 학습시키는 데이터센터에서 나오고 있다는 뜻입니다.
이 매출을 떠받치는 제품이 AI 가속기 라인입니다. 2022년 호퍼(Hopper) 아키텍처 기반의 H100은 생성형 AI 학습의 기준 장비로 자리 잡았습니다. 2024년 3월 GTC에서 공개된 블랙웰(Blackwell)은 그 뒤를 잇는 세대로, B200 GPU와 함께 그레이스(Grace) CPU를 결합한 GB200 형태로 랙 전체를 하나의 거대한 연산기처럼 묶어냅니다. 회사는 여기서 멈추지 않고 차세대 플랫폼 베라 루빈(Vera Rubin)을 예고하며 에이전트 AI 시대를 준비하고 있습니다. 회사 실적 자료의 원문은 엔비디아https://nvidianews.nvidia.com 공식 뉴스룸에서 확인하실 수 있습니다.
다만 이 지배적 위치가 영원하다고 단정하기는 어렵습니다. AMD는 자체 소프트웨어 ROCm으로 추격하고 있고, 구글·아마존 같은 대형 고객사는 자체 AI 칩을 만들어 의존도를 낮추려 합니다. 쿠다라는 해자가 깊은 것은 사실이지만, 기술 산업의 판도는 늘 다음 변곡점을 품고 있습니다. 1편이 보여준 것처럼, 한때 시장을 호령하던 강자도 흐름을 놓치면 자리를 내줄 수 있습니다.
제국의 진짜 토대
지금까지의 이야기를 한 줄로 요약해 보죠. 엔비디아를 AI 시대의 중심으로 만든 힘은 가장 빠른 칩이 아니라, 2006년부터 묵묵히 쌓아 온 쿠다라는 소프트웨어 생태계였습니다. 게임 그래픽을 위해 태어난 병렬 연산 구조가, 쿠다라는 통로를 만나 AI의 언어가 되었고, 알렉스넷이라는 사건을 거쳐 산업 표준으로 굳어진 것입니다.
다음 3편에서는 시총 1위 엔비디아가 지금 어디에 서 있는지부터 짚어보겠습니다. AI 칩 시장을 장악하게 만든 GPU, CUDA, 데이터센터 생태계의 힘은 무엇인지, 그리고 그 압도적인 현재에도 어떤 변수와 균열 가능성이 남아 있는지 살펴보겠습니다. 칩 회사를 넘어 AI 인프라의 중심으로 확장하고 있는 엔비디아의 현재를 함께 따라가 보시죠.
※ 본 포스팅은 IT/비즈니스 역사와 기술 분석을 위한 정보성 글이며, 특정 종목에 대한 투자 권유가 아닙니다. 본문은 2026년 6월 15일 기준 엔비디아 공식 실적 발표, 위키피디아, IT 전문지 보도를 교차 확인해 작성했습니다. 일부 기업 매출과 기술 사양 수치는 회계연도 기준과 발표 시점에 따라 달라질 수 있으므로, 인용 시 원문 출처를 함께 확인하시길 권합니다.
