AlphaSense объявила, что ее функция Generative Search теперь работает на высокоскоростных чипах Cerebras для инференса. Благодаря партнерству время до первого токена сократилось на 88% — с 19,5 до 2,3 секунды, поэтому система может выдавать первые ответы всего за 10–20 секунд. Ускоренная обработка запросов к моделям позволяет AlphaSense сохранить многоэтапный исследовательский процесс — планирование, маршрутизацию и оценку фрагментов текста — и при этом сделать взаимодействие с системой более быстрым.
Почему это важно
Аналитики могут получать ответы, подкрепленные фактами, за минуты, а не часы, и быстрее проводить итерации при анализе отчетных звонков и исследовании рынков.
