130亿参数开源模型「小羊驼」来了,300美元复刻ChatGPT九成功力

SD指南2年前 (2023)发布 一起用AI
1,003 0 0

最近几个月来,OpenAI旗下ChatGPT在聊天机器人领域已经完全改变了模式,也就成了其他研究追赶的目标。

以Meta开源LLaMA(直译为「大羊驼」)系列模型为起点,斯坦福大学和其他组织的研究者们相继在上面做了二创,开源了基于LLaMA的Alpaca(羊驼)、Alpaca-Lora、Luotuo(骆驼)等轻量级类ChatGPT模型,极大地降低了此类模式的学习,应用门槛并进行培训、推理成本反复下降。

由于「二创」过于丰富,生物学上羊驼属英文单词几乎用不完,但是,有创见的研究人员似乎总是能为自己的模式寻找到一个新的名称。比如,有的学者就提出了“二创论”,认为动物可以在进化中通过改变基因来适应外界环境。最近从加州大学伯克利分校传来消息、卡内基梅隆大学、斯坦福大学和加州大学圣迭戈分校研究人员提出了Vicuna(小羊驼)这一新模式。这个模型在很多方面和其他生物类似,只是它的外形有点特别而已。该模型还建立在LLaMA的基础之上,不过用到的是13B 参数量的版本(作者表示,初步人工评测显示13B版本比7B版本模型要好不少,不过这不是一个严谨的结论)。

该项目的趣味,作者在评测环节并没有通过某种「标准化考试」来测定模型性能(由于他们相信,这类问题无法测得对话时模型变通能力),而是让GPT-4成为「考官」,请看GPT-4是否偏好Vicuna-13B或其他基线模型来回答。此外,作者还对不同类型的用户进行了测试和比较。结果表明,与现有SOTA开源模型(LLaMA、Alpaca)相比,在大于90%的问题上,GPT-4更倾向于Vicuna,并且Vicuna在总分上达到了ChatGPT的92%。

130亿参数开源模型「小羊驼」来了,300美元复刻ChatGPT九成功力

目前这种模式是开源的。

前一段时间,Meta开源出一系列的大型模型LLaMA,Vicuna-13B是一种通过微调LLaMA来产生高性能会话。虽然在性能上没有优势,但是我们可以发现这些小模型都是非常优秀的。这一点与斯坦福以前的Alpaca模型相似,但是与Alpaca相比,Vicuna产生质量较好、速度较高。

我们将对Alpaca与Vicuna产生结果进行比较,对于同一个问题:「为你最近刚去过的夏威夷旅行撰写一篇博客,重点介绍文化体验和必看景点」,Alpaca的回答是:

Vicuna答复说:

130亿参数开源模型「小羊驼」来了,300美元复刻ChatGPT九成功力

很明显,Vicuna比Alpaca更出色,甚至已与ChatGPT答案相当。在这篇文章里,我们将为大家介绍如何利用简单的操作让用户快速地找到自己所需的内容。又如何实现?答案很简单——在她的镜头中,你能看到她在为一个特定主题而努力工作。让我们来看看Vicuna技术的细节。

© 版权声明

相关文章