AI 데이터센터는 이제 칩 배송이 아니라 전력선을 기다린다

오라클이 계획한 위스콘신 AI 데이터센터가 지연되고 있으며, 그 이유는 실리콘이 아니다. 이 프로젝트는 전력망 연결에 대한 규제 승인을 기다리고 있어 2027년 고객 인도가 위험해졌다. 비슷한 시기에 8억 달러 이상의 신규 용량이 전력망 또는 계획 승인 절차를 통과했다. 핀란드 퓌해요키(Pyhajoki)의 250메가와트 캠퍼스는 지역 반대를 극복했고, 이집트의 2억 7,000만 달러 프로젝트, 폴란드의 4억 100만 유로 EU 자금, 프랑스의 8,000만 유로 프로젝트도 있었다. 이들 프로젝트는 모두 칩 공급이 아니라 전력 인프라에 의존한다.

2년 동안 AI 인프라 담론은 가속기 중심이었다. 그 판도가 바뀌고 있다. 이제 데이터센터가 일정대로 문을 여는지를 결정하는 제약은 서버 랙 상류에 있다.

랙이 건물보다 커졌다

AI에 최적화된 랙은 이제 30킬로와트에서 100킬로와트 이상을 요구하며, 일부 구축은 150킬로와트를 넘어선다. 전통적인 엔터프라이즈 랙은 그 일부에 불과한 전력을 소비한다. 이는 기존 전기실과 냉각 루프로 흡수할 수 있는 한계적 증가가 아니다. 새로운 변전소, 새 변압기 용량, 그리고 많은 경우 바닥에 배관으로 연결된 액체 냉각이 필요하다.

전력 측 수치는 국가 규모에서 중요할 만큼 크다. 미국 데이터센터 소비량은 현재 약 180테라와트시이며, 신뢰할 만한 전망은 2030년까지 400~600테라와트시로 본다. 이는 전력회사를 협상력을 가진 파트너로 만들고, 상호접속 대기열을 일정 리스크로 바꾸는 종류의 수요 성장이다.

오라클의 위스콘신 지연이 이를 가장 명확히 보여준다. 이 회사는 2027년 약속을 가진 AI 고객을 위해 건설 중인데, 송전 승인은 칩 공급업체 누구도 도울 수 없는 상황에서 분기 단위로 미뤄질 수 있다.

운영사들이 에너지 기업이 되고 있다

대응은 수직 계열화였다. 데이터센터 운영사들은 이제 전력구매계약(PPA)을 체결하고, 발전에 투자하며, 일부는 연결 자체를 직접 구축한다. 핀란드의 에네트론(Enetron) 프로젝트는 용도지역 지정을 뒤집는 승인이 필요했다. 이는 250메가와트 부하가 지역 전력망 계획을 좌우할 만큼 클 때 일어나는 일이다.

이는 데이터센터의 경제성을 놓치기 쉬운 방식으로 바꾼다. 역사적으로 입지 선정은 토지 비용, 광케이블 경로, 세제 혜택에 최적화됐다. 전력은 그저 전기요금이었다. 이제 전력 가용성은 일정의 관문이며, 인구 중심지 근처의 가장 싼 토지는 전력망이 이미 포화된 경우가 많아 최악의 건설지인 때가 많다.

그래서 새 프로젝트들이 특정 지역에 몰린다. 북유럽에는 수력 발전 용량과 시원한 공기가 있다. 이집트에는 저렴한 발전과 유럽·중동 수요와의 근접성이 있다. 폴란드와 프랑스는 공적 자금을 투입해 연결이 더 빨리 이뤄지게 한다. 이 패턴은 기술에 관한 것이 아니다. 전기와 열에 관한 것이다.

메모리가 또 다른 부족 품목으로 드러났다

업계가 전력에 주목하는 동안 두 번째 제약이 더 조여졌다. 고대역폭 메모리(HBM)는 랙에서 가장 희소한 투입물이 되었다. 마이크론의 HBM4는 중량 기준으로 일반 DRAM 단위 가치의 약 15배에 거래된다. 이는 공급망을 재편할 만큼 강력한 가격 신호다. HBM은 공급이 타이트할 때 더 저렴한 부품으로 대체할 수 있는 범용 상품이 아니기 때문이다.

역사적 불균형은 극명하다. AI 칩의 연산 처리량은 업계 역사 동안 대략 100만 배 성장한 반면, 메모리 대역폭은 약 40배 성장했다. 가속기는 메모리가 데이터를 공급할 수 있는 속도보다 훨씬 빠르게 산술 연산을 실행할 수 있다. 그래서 우회 기법이 중요하다. FP8 및 FP4 양자화는 모델의 메모리 사용량을 각각 절반과 4분의 1로 줄이며, 전문가 혼합(MoE) 같은 기법은 토큰당 매개변수의 작은 일부만 활성화해 총 매개변수가 수조 개인 모델이 모두 동시에 상주할 필요가 없게 한다.

이런 기법은 여유 용량이 있을 때 적용하는 최적화가 아니다. 워크로드가 애초에 들어가게 하는 이유이며, 어떤 모델 아키텍처를 실제로 배포할 수 있는지 제약한다. 두 모델 중 하나를 고르는 팀은 이제 벤치마크 점수만큼이나 토큰당 메모리 대역폭을 비중 있게 따진다.

메모리가 어떤 아키텍처를 출시할지 결정한다

메모리 제약은 공급을 제한하는 것 이상을 한다. 무엇이 만들어지는지를 형성한다.

매우 큰 컨텍스트 창을 가진 모델은 추론 중 대규모 키-값 캐시를 보유해야 하며, 이 캐시는 가중치와 같은 메모리를 두고 경쟁한다. 문서상 효율적으로 보였던 아키텍처도 캐시만으로 장치에 들어갈 수 있는 용량을 초과하면 비현실적이 된다. 그래서 캐시를 호스트 메모리로 페이징하거나 압축하는 등 연산과 메모리를 맞바꾸는 기법이 연구적 호기심에서 표준 구성 요소로 이동했다.

그 결과 아키텍처 결정은 점점 메모리 가용성을 따르게 되며, 그 반대가 아니다. 더 긴 컨텍스트를 원하는 팀은 정확도 향상이 메모리 비용을 정당화하는지 결정해야 하며, 답은 실제로 확보할 수 있는 가속기 세대에 달려 있는 경우가 많다. 이는 모델 설계의 옷을 입은 공급망 결정이다.

HBM은 공급업체 기반이 작은 특화 제품이기에 이를 더 예리하게 만든다. 일반 DRAM은 폭넓게 조달하고 대체할 수 있다. HBM은 소수 제조사가 생산하고, 고정된 스택으로 제공되며, 훨씬 전에 할당된다. 부족은 더 많은 돈을 내서 해결되지 않는다. 기다려야 해결된다.

이것이 경쟁 지형을 바꾸는 이유

칩이 제약일 때는 최고의 가속기를 가진 회사가 우위를 점했고 구매자들이 줄을 섰다. 전력과 메모리가 제약일 때는 메가와트와 메모리 할당을 확보할 수 있는 쪽으로 우위가 이동하며, 이는 재무 건전성, 장기 전력회사 관계, 발전 설비를 지을 인내를 가진 기업에 유리하다.

이는 다른 승자 집합이다. 20년 전력 계약을 체결한 자본력 있는 클라우드 제공자는 더 나은 커널로는 따라잡을 수 없는 우위를 갖는다. 또한 전기는 지역적이고 메모리 팹은 소수이기에 지리가 다시 중요해진다는 뜻이다.

이차 효과도 있다. 상호접속 대기열이 길게 유지되면 기존 용량을 더 효율적으로 쓰려는 압력이 커진다. 이는 양자화와 추측 디코딩 같은 기법에 유리하며, 변전소를 기다리는 하드웨어보다 이미 설치된 하드웨어에서 서비스할 수 있는 더 작은 모델에 유리하다.

지켜볼 것

상호접속 대기열이다. 대규모 부하에 대한 승인이 올해보다 내년에 더 오래 걸린다면 더 많은 프로젝트가 미뤄지고, 일정 리스크는 놀라움이 아니라 계획 전제가 된다.

메모리 가격 곡선이다. HBM 가격이 일반 DRAM 대비 어느 정도인지 보면 구매자들이 대역폭에 얼마의 프리미엄을 지불할지 알 수 있다. 프리미엄이 줄면 공급이 따라잡은 것이다. 벌어지면 부족이 로드맵을 더 많이 결정하고 있는 것이다.

운영사들이 계속 발전을 사들일지다. 에너지 기업이 되는 모든 데이터센터는 전력 산업의 고객 명단을 바꾼다. 몇몇 대형 운영사가 의미 있는 발전 용량을 소유한다면, 다음 AI 용량은 전력이 이미 있는 곳이 아니라 그들이 전력을 만들 수 있는 곳에 지어질 것이다.

칩 이야기는 계속되지만, 더 이상 마감 시한을 정하지 않는다. 2027년에 제때 문을 여는 프로젝트는 연결과 메모리 할당을 먼저 해결한 곳이 될 것이고, 그들이 출하하는 가속기는 쉬운 부분일 것이다.