D-Matrix는 연산 로직 아래에 3D DRAM을 적층한 AI 추론용 2세대 칩 Raptor를 개발하고 있다. 회사 펠로우인 Satyam Srivastava는 SC26에서 테스트 칩 Pavehawk로 Raptor에 앞서 해당 기술을 검증하고 있으며, Raptor는 내년에 출시될 예정이라고 밝혔다.
Srivastava는 적층 메모리가 고대역폭 메모리(HBM)보다 대역폭은 10배, 에너지 효율은 10배 높고 용량은 HBM과 SRAM의 중간 수준일 것이라고 주장했다. 이 수치는 회사 측 주장으로, 인터뷰에는 독립적인 테스트 결과가 제시되지 않았다. D-Matrix는 자사의 Corsair 가속기를 Nvidia Hopper GPU와 함께 사용하면 활용률을 약 20%에서 최대 80%까지 높일 수 있다고도 밝혔다.
왜 중요한가
AI 모델을 서비스하는 기업에는 주장대로 대역폭이 향상될 경우 추론 하드웨어의 가동률을 높이는 데 도움이 될 수 있다. 다만 독립적인 테스트 결과와 Raptor의 실제 성능은 아직 공개되지 않았다.