최근 열린 KubeCon 2026에서는 클라우드 네이티브 생태계가 AI 시대를 맞이하여 어떻게 진화하고 있는지 엿볼 수 있었다. 특히 AI 인프라의 핵심으로 자리 잡은 쿠버네티스의 역할과, 글로벌 빅테크 기업들의 적극적인 오픈소스 기여가 눈에 띈다. 이번 행사에서는 특히 엔비디아의 CNCF 합류를 강조한것으로 보였다.
AI 추론(Inference), 인프라의 패러다임을 바꾸다
AI 모델의 중심이 학습(Training)에서 추론(Inference)으로 빠르게 이동하고 있다. 2023년까지만 해도 AI 컴퓨팅 리소스의 3분의 2가 모델 학습에 사용되었으나, 올해 말에는 이 비율이 역전되어 전체 AI 컴퓨팅의 3분의 2가 추론 워크로드에 할당될 전망이다. 2020년대 말에는 추론 전용 컴퓨팅 용량이 93.3기가와트를 넘어서며, 이는 다른 모든 컴퓨팅 부하를 합친 것보다 더 큰 규모가 될 것으로 예상된다. 단순한 챗봇을 넘어 코딩 에이전트와 같은 자율적인 AI 에이전트들이 추론 플랫폼의 '슈퍼 유저'로 활동하면서 사용량이 기하급수적으로 폭증하고 있기 때문이다.
엔비디아(NVIDIA), CNCF 플래티넘 회원으로 합류
이번 행사에서 가장 주목받은 소식 중 하나는 엔비디아가 CNCF의 최고 등급인 플래티넘 회원으로 합류했다는 점이라고 생각한다. 엔비디아는 AI의 미래가 쿠버네티스와 마찬가지로 커뮤니티 주도적이고 개방적인 형태(open)로 구축되어야 한다고 강조한다. 앞으로 AI가 직면할 과제들은 단순한 모델의 문제가 아니라 인프라, 확장성, 상호 운용성 등의 문제이며, 이는 단일 기업이 독자적으로 해결할 수 없기 때문이다.
엔비디아는 생태계 발전을 위해 아래와 같은 실질적이고 대대적인 기여를 약속했다.
- GPU 드라이버 기증: 쿠버네티스 SIG Node에 NVIDIA GPU 드라이버를 직접 기증하여 벤더 중립적인 쿠버네티스 DRA(Dynamic Resource Allocation) API의 참조 구현체(reference implementation) 역할을 하여 AI 인프라 표준화에 크게 기여할 것으로 보인다.
- 컴퓨팅 자원 지원: 향후 3년간 400만 달러를 약정하여, NVIDIA GPU가 필요한 모든 CNCF 프로젝트가 관련 컴퓨팅 자원에 원활하게 접근할 수 있도록 보장한다.
- 오픈소스 프로젝트 공유: AI 클러스터 런타임인 'Acre'를 오픈소스로 공개하였으며, 스케줄러인 'Kai'를 CNCF 샌드박스 프로젝트에 기여하는 등 직접적인 기술 공유를 확대한다.
AI 네이티브로 진화하는 쿠버네티스와 새로운 생태계
전체적인 생태계 역시 AI 워크로드를 효과적으로 지원하기 위한 다양한 변화를 맞이하고 있다. 최근 CNCF를 졸업(Graduated)한 프로젝트로는 보안 및 정책에 중점을 둔 Kyverno와 대용량 바이너리 및 AI 모델 배포에 특화된 Dragonfly가 있으며, Fluid와 Tekton은 지속적 제공 및 AI 활용 가속화를 목표로 인큐베이션(Incubation) 단계에 진입했다.
또한, 새롭게 CNCF 샌드박스에 합류한 llm-d는 클러스터 전체의 분산형 AI 추론을 최적화하는 프로젝트다. 단순한 라우팅을 넘어 프롬프트를 검사해 특정 데이터를 KV 캐시에 보유한 GPU로 요청을 보내는 추론 게이트웨이(Inference Gateway) 기능과, 연산 집약적인 '프리필(prefill)' 단계와 메모리 집약적인 '디코드(decode)' 단계를 분리하여 독립적으로 스케일링하는 세분화된 추론(Disaggregated Inference) 아키텍처를 지원한다.
쿠버네티스는 이러한 기술들을 표준화하기 위해 AI 적합성(AI Conformance) 프로그램을 개편했다. 플랫폼이 쿠버네티스 Gateway API 및 지능형 추론 라우팅(Inference Extension)을 지원하는지, 그리고 세분화된 추론을 지원하는지를 새로운 필수 인증 요건으로 추가하여 일관된 AI 인프라 환경을 검증하고 있다
