Unsloth의 v0.1.918-beta 업데이트에는 AI 모델이 사용자의 화면을 보고 마우스와 키보드를 제어할 수 있는 컴퓨터 사용 기능이 추가됐다. 이 기능은 지원되는 로컬 비전 모델과 연결된 제공업체를 통해 macOS, Windows, Linux에서 작동한다. 기본 설정은 꺼짐이며, 설정에서 직접 켜야 한다.
모델이 채팅에서 처음으로 동작을 수행하기 전에는 Unsloth가 권한을 요청한다. 새 앱으로 전환하기 전이나 터미널 사용처럼 위험할 수 있는 단계에 앞서서도 확인을 받는다. 회사는 권한 설정과 관계없이 차단된 앱에서는 클릭하거나 입력하지 않는다고 밝혔다. 사용자는 중지 버튼을 누르거나 포인터를 화면 모서리로 옮겨 제어권을 되찾을 수 있다.
더 많은 앱을 채팅에 연결
이번 업데이트에서는 Blender에 더해 Unreal Engine, Unity, Godot, Figma, Roblox를 앱 메뉴에서 연결할 수 있게 됐다. 이 연결에는 채팅 모델이 다른 소프트웨어와 상호작용하도록 해주는 MCP가 사용된다. Unsloth에 따르면 모델은 이를 활용해 장면과 게임을 만들 수 있으며, 시연 사례로는 Godot의 Pong 게임과 Unreal Engine의 마을 광장이 있다. Figma는 읽기 전용이다. 모델이 프레임과 스타일, 에셋을 살펴볼 수는 있지만 수정할 수는 없다.
사용자는 앱을 선택하고 권한을 부여한 뒤, 연결을 활성화하기 전에 테스트해야 한다. Unsloth는 이 도구들이 연결된 앱 안에서 코드를 실행한다고 설명하며, 해당 앱의 소유자만 사용할 수 있다고 밝혔다. 이번 출시에는 검색 가능한 연결 갤러리에도 제공업체 9곳이 추가됐다. Amazon Bedrock, Azure OpenAI, NVIDIA NIM, Perplexity 등이 포함된다.
이미지 모델과 채팅 기능
이제 MiniMax-H3-Image는 CPU, Mac, AMD 하드웨어에서 GGUF 형식으로 실행할 수 있고, NVIDIA GPU에서는 FP8 또는 INT8 가중치를 사용할 수 있다. FP8을 사용하려면 컴퓨팅 성능 SM 8.9 이상인 NVIDIA GPU가 필요하다. 사용자는 가중치를 일부 추가해 모델을 조정하는 방식인 LoRA로 이미지 모델을 미세 조정할 수도 있다.
Unsloth는 A100 80GB에서 2048픽셀 이미지를 디코딩하는 데 걸리는 시간이 기존 2.82초에서 0.28초로 줄었다고 밝혔다. 이는 회사가 보고한 결과이며, 독립적으로 비교 검증된 수치는 아니다. 그 밖에도 채팅창의 모델 선택기, 프로젝트 파일 탐색 기능, 여러 연결에서 긴 대화를 자동으로 요약하는 기능이 추가됐다. 이번 업데이트는 Inkling-2-Small을 Dynamic GGUFs로 실행하는 기능도 지원한다.
왜 중요한가
로컬 AI 모델을 사용하는 사람은 컴퓨터 사용 기능을 통해 모델에 지시만 받는 대신 데스크톱 소프트웨어에서 작업을 수행하도록 요청할 수 있다. 다만 기능을 직접 설정하고 권한을 부여해야 하며, Unsloth 자체 시연과 테스트 외에는 일상적인 작업을 얼마나 안정적으로 처리할지 확인되지 않았다.