Oossa

Unsloth, Flint·MOSS-Image·Nemotron Bolt 4B 지원

Unsloth의 10월 23일 업데이트는 세 모델의 로컬 실행을 지원하고, 채팅 전용 데스크톱 설치 옵션과 로컬 모델 미세 조정 API를 추가했다.

작성: Oossa 게시일: 1 분 읽기

Daniel Eliashevskyi · Unsplash

Unsloth 버전 0.1.910-beta는 Recursive의 Flint, OpenMOSS의 MOSS-Image, NVIDIA의 Nemotron Bolt 4B를 지원한다. 업데이트에 따르면 Unsloth를 통해 세 모델을 로컬에서 실행할 수 있다. 채팅 기능만 포함한 소형 Unsloth Desktop 설치 옵션도 추가됐으며, 사용자는 나중에 설정에서 학습 기능을 추가할 수 있다.

Flint는 400억 개의 파라미터를 가진 전문가 혼합(MoE) 모델이다. 이 구조는 작업마다 일부 파라미터만 활성화한다. Unsloth에 따르면 Flint는 25억 개의 활성 파라미터를 사용하고, 256,000토큰의 컨텍스트를 지원한다. 짧은 컨텍스트에서는 3비트 양자화 기준으로 24 GB 메모리에 들어간다. 업데이트에는 SWE-bench Pro v2에서 Flint가 89.7점을 받아 Qwen 3.6의 73.8점보다 높았다고 나와 있지만, 테스트 조건이나 평가 주체는 공개되지 않았다.

이미지 생성과 로컬 미세 조정

MOSS-Image는 영어 또는 중국어 텍스트가 포함된 이미지를 생성할 수 있는 51억 개 파라미터 규모의 이미지 모델이다. Unsloth는 16 GB 메모리의 GPU에서 실행할 수 있다고 밝혔다. GGUF 버전은 Mac과 지원되는 GPU가 없는 컴퓨터에서도 실행할 수 있다. 업데이트에는 이미지 품질 비교나 성능 수치가 담기지 않았다.

Nemotron Bolt 4B는 도구 사용과 지시 수행을 위해 Gemma 4 E4B를 기반으로 NVIDIA가 추론 성능에 초점을 맞춰 조정한 모델이다. Unsloth는 Tau2-Bench 점수가 원본 모델의 38.7점보다 높은 63.2점이라고 밝혔다. 또 Gemma Nemotron 4B가 NVIDIA의 21개 테스트 중 16개에서 Gemma 4 E4B를 앞섰다고 설명했다. 이는 업데이트에 제시된 결과이며, 게시물에는 테스트 조건이나 독립적인 검증 결과가 포함되지 않았다.

모델을 학습하는 사용자를 위해 Unsloth는 새로운 미세 조정 API도 발표했다. 이 API는 OpenAI SDK와 연동해 데이터세트를 업로드하고 로컬 모델을 지도 미세 조정할 수 있다. Unsloth Desktop은 무료 오픈소스 소프트웨어이며, Windows, macOS, Linux용으로 제공된다.

왜 중요한가

업데이트에 따르면 16 GB GPU를 보유한 사용자는 Unsloth를 통해 영어 또는 중국어 텍스트가 포함된 이미지를 생성하는 데 MOSS-Image를 활용할 수 있다. Flint가 24 GB 메모리에 들어간다는 수치는 3비트 양자화와 짧은 컨텍스트에만 해당한다. 또한 업데이트에는 독립적인 테스트 결과가 없고, 벤치마크 점수를 신뢰성 있게 비교하는 데 필요한 조건도 충분히 제시되지 않았다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.