Tom’s Hardware가 보도한 구글 개발자 블로그 발표에 따르면, 텐서 처리 장치(TPU)라고 불리는 구글의 자체 AI 칩이 현재 메타의 실제 서비스 환경에서 AI 작업을 처리하고 있다. 이 시스템은 AI 모델을 실행하고 응답을 생성하는 데 쓰이는 소프트웨어인 SGLang의 PyTorch 네이티브 버전을 사용한다. 구글은 널리 쓰이는 또 다른 추론 엔진 vLLM의 PyTorch 네이티브 버전도 발표했다.
이번 변화로 메타는 구글의 JAX 프레임워크에 의존하던 기존 방식 대신, 메타가 만든 AI 프레임워크인 PyTorch를 사용해 구글 칩을 활용할 수 있게 됐다. 구글은 새 버전 덕분에 개발자가 소프트웨어를 대부분 다시 작성하지 않고도 TPU를 쓸 수 있다고 밝혔다. 기사 제목에는 구글이 외부 고객에게 TPU를 처음 판매했다고도 적혀 있지만, 제공된 보도 내용에는 해당 고객이나 판매 관련 세부 사항이 나오지 않는다.
JAX를 넘어서는 선택지
칩은 개발자의 도구가 활용할 수 있어야 쓸모가 있다는 점에서 소프트웨어 연결은 중요하다. 이전에는 SGLang과 vLLM이 JAX를 통해 구글 TPU에서 실행됐다. PyTorch 네이티브 버전이 나오면서 이미 PyTorch를 쓰는 팀도 TPU를 선택할 수 있게 됐고, AI 작업을 TPU 하드웨어로 옮기는 데 필요한 수고가 줄어들 가능성이 있다.
구글은 vLLM 버전이 오픈소스라고 밝혔다. 보도 내용은 SGLang 버전에도 같은 라이선스나 접근 조건이 적용되는지, 또는 개발자가 두 버전을 어떻게 이용할 수 있는지 설명하지 않는다. 메타가 TPU를 몇 개 쓰는지, 어떤 모델을 실행하는지, 시스템 성능은 어떤지도 공개되지 않았다.
사용자에게 달라지는 점은?
확인된 변화는 메타가 데이터센터에서 AI 작업을 실행하는 방법이 하나 더 생겼다는 것이다. 이에 따라 엔지니어가 선택할 수 있는 하드웨어가 늘어날 수 있지만, 보도 내용에는 메타 제품의 속도나 품질, 이용 가능성이 달라졌다는 근거가 없다. 또 메타가 실제 서비스에 TPU를 투입했다는 설명 외에는 이번 도입이 시험인지, 더 폭넓은 배포인지도 밝히지 않았다.
왜 중요한가
메타의 AI 엔지니어는 이제 SGLang과 vLLM의 PyTorch 네이티브 버전을 통해 JAX에 의존하지 않고 구글 TPU를 사용할 수 있다. 메타가 선택할 수 있는 하드웨어가 늘어난 셈이지만, 메타 제품 이용자가 속도나 기능의 차이를 체감할지는 원문에서 확인되지 않는다.
