오픈소스 LLM 서빙 라이브러리 vLLM 0.31.0에 사후 양자화된 가중치를 엔진 재시작 후에도 GPU 메모리에 유지하는 프리로드 CLI가 도입됐다.
짧은 소식작성: OossaOossa 게시일: 1 분 읽기
vLLM 프로젝트가 2026년 10월 5일 버전 0.31.0을 출시했다. 이번 버전의 핵심은 가중치 캐시 데몬을 시작하는 새 프리로드 명령어다. 서버를 재시작해도 사후 양자화된 모델 가중치를 GPU 메모리에 유지할 수 있다. 이 기능은 데이터 병렬 처리를 지원하며 상태 확인 엔드포인트도 추가한다. 이번 릴리스에는 기여자 307명이 작성한 커밋 717개도 포함됐다.
개발자는 대규모 모델을 다시 로드하지 않고도 LLM 서비스를 업데이트하거나 재시작할 수 있어, vLLM을 사용하는 애플리케이션의 서비스 중단 시간을 줄일 수 있다.
모델
소형 언어 모델 Qwen3.5 0.8B가 GPT-5 프롬프트보다 저렴하고 정확하게 영어 학습자의 문법 숙달도를 추적한다.
모델
새 서비스 OSS Scanner는 Anthropic의 Claude Mythos 모델을 활용해 오픈소스 프로젝트에 정기적으로 취약점 보고서를 무료로 제공합니다.
모델
Claude에서 애니메이션 설명 영상을 만드는 Motion과 자동 갱신되는 데이터 뷰를 제공하는 Dashboards를 이용할 수 있다. 유료 사용자 대상이다.
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.
