0门槛克隆ChatGPT!30分钟训完,60亿参数性能堪比GPT-3.5( 二 )


而Dolly则成功地完成了任务,效果对比起来堪称「涅槃」 。
而这种「创造性」问题,显然是的强项,洋洋洒洒地写了300多个字 。

0门槛克隆ChatGPT!30分钟训完,60亿参数性能堪比GPT-3.5

文章插图
开放问答
在事实性问题的问答测试上,团队选择了下面这个:「向我解释一下核裂变和核聚变之间的区别 。」
先不管对错,GPT-J全篇都是在讲太阳如何如何,虽然提到了「聚变」这个词,但完全无视了「裂变」 。
而Dolly第一句就直接点题——核裂变和核聚变的区别在于释放能量的方式,随后简单解释了他们的不同 。
相比之下,给出的回答明显要更加翔实 。
头脑风暴
当让它们头脑风暴,给出应该阅读的五本科幻小说的名单,GPT-J则只是在喃喃自语,像是沉浸在了拖延阅读而产生的愧疚情绪中,完全回避了这个提问 。
Dolly则一如既往的表现稳定,按照指令给出了5本科幻小说的书名及其作者 。
对于该问题给出了更加丰富的回答,不仅包括书名和作者,还对每一本书的内容、类型作了简要评述和介绍 。
你要Close,我就Open
对于很多公司而言,宁愿自己建立一个不那么强的模型,也不愿将数据发送给那些只提供API的大语言模型供应商 。
其中一个重要原因便是,这些问题和数据集是公司最敏感和专有的知识产权,直接将其交给第三方显然是不靠谱的 。
此外,公司自身可能在模型质量、成本和期望行为方面有不同的权衡,一种可定制化的语言模型更加符合需求 。
现在,Dolly的发布给了他们希望——即便是一个「过时」的开源大型语言模型 (LLM),也能通过30分的训练,赋予它神奇的类似的指令跟随能力 。
不难想象,大语言模型或许很快就不是AI巨头公司独占的玩法了!
正如公司CEO Ali 所说,「我们的信念是,让全世界的每个组织都能利用这些技术 。」
【0门槛克隆ChatGPT!30分钟训完,60亿参数性能堪比GPT-3.5】参考资料: