이번 릴리스는 여러 모델을 지원하고 KV 캐시 관리자 V2를 기본값으로 설정했으며, 사용하지 않는 요청 필드를 제거했다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
NVIDIA가 2026년 10월 22일 TensorRT‑LLM 버전 1.4.0rc1을 공개했다. 이번 업데이트에서는 KV 캐시 관리자 V2가 기본 API로 적용된다. 개발자에게 호환성이 깨지는 변경이며, 더 이상 사용하지 않는 LlmRequest 필드도 제거됐다. DeepSeek‑V4.1‑Flash, NVFP4 GLM‑5.3‑Flash, Qwen3.8‑Flash‑Next 등 모델 지원도 추가됐다.
TensorRT‑LLM을 사용하는 개발자는 새 KV 캐시 API에 맞게 코드를 업데이트해야 한다. 그렇지 않으면 애플리케이션이 시작되지 않는다.
모델
Flint는 총 400억 개, 활성 파라미터 25억 개를 갖췄으며 MacBook Pro에서 초당 125토큰을 생성합니다.
모델
새 Flint 모델은 262K 토큰 컨텍스트 창과 초기 Mac 지원을 바탕으로 대규모 프로젝트의 코드를 이해하고 수정하도록 돕습니다.
모델
Google의 Gemini AI가 미국을 시작으로 CarPlay의 Google 지도에서 음성 내비게이션 질문에 답합니다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
