Oossa

llama.cpp, H2O‑Lightning‑4B 의사결정 모델 지원

오픈소스 추론 라이브러리 llama.cpp가 의사결정형 LoRA를 적용한 Qwen3.5‑4B 모델 H2O‑Lightning‑4B를 지원합니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml‑org/llama.cpp 프로젝트가 2026‑10‑21 버전 b11773을 공개했습니다. 이번 업데이트에는 의사결정 LoRA를 병합한 Qwen3.5‑4B 모델인 H2O‑Lightning‑4B가 새 모델 유형으로 추가됐습니다. 이 모델은 답변 앞에 공백(" A")을 붙여 출력하며, 최대 255개의 레이블을 처리할 수 있습니다. 변환기는 이제 의사결정 메타데이터를 기록하고, serve_config.json에서 일치하는 항목이 있는지 확인합니다. 이번 변경은 H2O AI 직원들이 공동 작성했으며, 다양한 CPU 및 GPU 플랫폼에서 테스트를 거쳤습니다.

왜 중요한가

개발자는 이제 다양한 하드웨어 환경에서 llama.cpp로 의사결정형 AI 모델을 직접 실행할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.