한 레딧 사용자가 2세대 Intel Optane PMem 200 모듈과 40코어 Xeon CPU로 Moonshot AI의 Kimi K3를 실행했다. 강력한 냉각 장치가 필요했다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
한 레딧 사용자가 40코어 3세대 Xeon Scalable CPU와 단종된 2세대 Intel Optane PMem 200 메모리 모듈만으로 Moonshot AI의 2.8조 매개변수 모델 Kimi K3를 실행하는 홈랩을 구축했다. GPU는 사용하지 않았다. 시스템은 1비트 양자화 설정에서 초당 약 0.85토큰을 생성하는데, 매우 느린 속도다. 제작자는 옵테인 모듈이 매우 뜨거워지므로 과열을 막고 주변 DRAM이 손상되지 않도록 12와트 송풍 팬 2개가 필요하다고 경고했다.
대형 언어 모델을 GPU 없이 실행할 수는 있지만, 강력한 냉각 장치가 필요하고 속도도 매우 느려 실용성이 제한적임을 보여준다.
모델
문서·이미지 이해 평가에서 Claude Opus 5보다 높은 점수를 냈다. API는 2주간 무료지만 이후 요금과 가중치 공개 계획은 미정이다.
모델
클로드를 활용해 첫 구조 모델을 34시간 만에 만들었다고 앤트로픽은 밝혔다. 볼트의 생물학적 기능은 여전히 밝혀지지 않았다.
모델
젠틀몬스터와 워비파커가 각자 디자인한 AI 안경을 예약 판매합니다. 12월 출시 예정이며 가격은 공개되지 않았습니다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
