ggml-org 팀이 OpenCL 지원을 개선한 llama.cpp 버전 b12124를 출시했습니다. 이제 비연속 데이터에 sigmoid 연산을 적용할 수 있습니다. OpenCL은 여러 종류의 프로세서에서 컴퓨팅 작업을 실행하기 위한 프레임워크입니다.
출시 페이지에는 CPU 및 Vulkan 빌드를 포함해 macOS, iOS, Ubuntu용 사전 빌드 다운로드도 안내돼 있습니다. 그 밖의 성능 변화에 대한 설명이나 어떤 사용자가 차이를 체감할 수 있는지는 언급하지 않았습니다.
왜 중요한가
OpenCL과 함께 llama.cpp를 사용하는 개발자는 새로 지원되는 연산을 활용할 수 있습니다. 다만 출시 노트만으로는 속도 향상 여부나 일반 사용자에게 미치는 영향을 알 수 없습니다.