Cohere ने 9 Oct, 2026 को एक ब्लॉग प्रकाशित किया, जिसमें उसके embed और rerank मॉडल चलाने के दो तरीके बताए गए हैं। उपयोगकर्ता साझा इन्फरेंस चुन सकते हैं, जिसमें कई ग्राहक एक ही कंप्यूट साझा करते हैं, या समर्पित इन्फरेंस, जिसमें एक ग्राहक को अपना हार्डवेयर मिलता है। ब्लॉग में दोनों विकल्पों की लागत और प्रदर्शन के बीच के समझौते बताए गए हैं। इससे डेवलपर यह तय कर सकते हैं कि उनके वर्कलोड के लिए कौन-सा सेटअप सही रहेगा।
यह क्यों मायने रखता है
इन्फरेंस का सही तरीका चुनकर डेवलपर अपने सर्च या रिकमेंडेशन ऐप्लिकेशन में लागत और गति के बीच संतुलन बना सकते हैं।
