Oossa

llama.cpp b11795, 서버 매개변수 전달 기능 추가

오픈소스 llama.cpp 라이브러리가 이제 /v1/messages API를 통해 추가 샘플링 매개변수를 전달하며, macOS, Linux, iOS용 새 바이너리 빌드도 제공합니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

ggml-org 팀이 llama.cpp 버전 b11795를 출시했습니다. 이번 업데이트로 서버에서 /v1/messages 엔드포인트의 extra_params 필드에 지정한 샘플링 매개변수를 변경 없이 전달할 수 있습니다. macOS(Apple Silicon 및 Intel), iOS용 사전 빌드 바이너리와 Ubuntu CPU 및 Vulkan용 빌드도 추가됐습니다.

왜 중요한가

개발자는 별도의 코드를 추가하지 않고도 API를 통해 생성 설정을 조정할 수 있어, llama.cpp를 앱에 더 빠르게 통합할 수 있습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.