Reddit-gebruiker u/AdIllustrious7246 heeft een fork uitgebracht van PS5LM, een port van llama.cpp, die rechtstreeks op een gehackte PS5 draait en de GPU van de console kan gebruiken. De fork kan modellen als Qwen 3.8‑27B verwerken met ongeveer 20 tokens per seconde. Dat is veel sneller dan eerdere ports die alleen de CPU gebruikten en beperkt waren tot ongeveer 6 GiB RAM.
Waarom het ertoe doet
PS5-bezitters kunnen zo lokaal en offline met AI-chatmodellen werken, zonder clouddiensten nodig te hebben.
