Oossa

Wolof开放权重语言模型发布,参数规模涵盖0.6B至14B

研究人员发布一系列适配Wolof语的模型,参数规模从0.6 billion到14 billion,并开放下载。

作者: Oossa 发布日期: 1 分钟阅读

Hello Massamba · Unsplash

一支由语言学家和工程师组成的团队发布了一系列能够理解和生成Wolof语的开放权重语言模型。Wolof语在塞内加尔约有23 million名使用者。模型参数规模从0.6 billion到14 billion不等,并采用开放许可,任何人都可以下载并在本地运行。论文称,8 billion和14 billion版本在Wolof语任务上的表现可与规模大得多的商业系统相当,同时也能良好处理其他语言。

论文报告的内容

作者介绍了一套流程:先用Wolof语文本对基础模型进行微调,再进行指令微调(训练模型遵循提示),并通过偏好对齐(优化输出,使其符合人类判断)调整模型。他们还合并模型以提升性能。实验涵盖63项公开和内部任务,包括翻译、问答和文本生成。结果显示,8 B和14 B模型尤其具有竞争力。

获取方式

这些模型已在内部客户服务试点中接受测试,论文列出的公开网址托管了代码和权重。论文未提及下载费用;由于模型权重开放,用户可以在自己的硬件上运行,无需支付API费用。

为什么重要

对Wolof语使用者和塞内加尔的企业来说,这些模型提供了一种免费且可在本地运行的替代方案,不必依赖昂贵的API服务。这有助于降低成本,并在开发聊天机器人或翻译工具时避免数据隐私方面的顾虑。作者实验之外的独立验证仍有待进行。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。