llama.cpp की b11292 रिलीज़ में CPU बैकएंड की उस सीमा को दूर किया गया है, जिससे BF16 यानी 16-बिट नंबर फ़ॉर्मेट वाले कर्नेल के साथ डेप्थवाइज़ 1D कन्वोल्यूशन प्रभावित होता था। अब CPU बैकएंड गणना के लिए उस इनपुट को 32-बिट फ़्लोट में बदल देता है, जिससे गणना Metal के मैट्रिक्स-वेक्टर कर्नेल जैसी हो जाती है।
रिलीज़ में Vulkan की जाँच भी बदली गई है: वह दूसरे मैट्रिक्स इनपुट के तौर पर BF16 को तभी स्वीकार करता है, जब पहला इनपुट भी BF16 हो। दूसरे संयोजनों को असमर्थित माना जाता है, ताकि शेड्यूलर उन्हें CPU पर चलाए। रिलीज़ नोट्स में जोड़े गए परीक्षणों का ज़िक्र है, लेकिन यह नहीं बताया गया कि ये बदलाव पैकेज्ड ऐप में कब आएँगे या किन उपयोगकर्ताओं को मिलेंगे।
यह क्यों मायने रखता है
BF16 डेप्थवाइज़ कन्वोल्यूशन चलाने वाले डेवलपर अब CPU बैकएंड पर वह संयोजन भी चला सकते हैं जिसे यह पहले स्वीकार नहीं करता था; नोट्स में यह नहीं बताया गया कि अन्य ऐप्स में यह सुधार कब शामिल होगा।
