千亿规模参数源1.0预训练大模型的知识蒸馏技术( 四 ) _模型

我们秉承着构建开源社区，提升大家在大模型里面的应用能力，做了大模型的开源开放计划，构建了开源的一个官方网站（），针对大学或科研机构的人工智能研究团队、浪潮信息的元脑生态伙伴，还有各种智能计算中心，以及对于中文自然语言理解和大模型感兴趣的各类开发人员和开发者进行免费开放，大家可以通过官网进行申请注册。开源开放的内容包括在官网上有模型的 API，以及高质量中文数据集和相应的处理代码开放出了 1T 的数据，这些只需在官网上进行申请就行。
另外，模型训练推理和应用的相关代码也在上进行了开源，我们秉持一个开放的态度，鼓励并且面向 AI 芯片的合作伙伴与大家合作，做模型相关的迁移和开发工作。
上图展示我们开源开放的一些工具，在官网上面我们构建的一个的线上测试工具，可以零代码的去实现对应参数 API 的交互和实验。另外，我们也提供了沙箱，通过简单的设置，就可以展示出想要设计的开发应用，在上线之后大概是一个什么样的交互方式和交互的结果。
04
源 1.0 大模型创新及实践
最后，大模型在开源开放之后也迎来了非常多的合作，吸引了超过一千三百多的开发者，来自不同的行业和不同的应用场景，注册并基于我们的源 1.0 大模型，进行不同应用的开发。这里给大家看到的是一些简单的事例，如图是我们和西安筷子帮共同去开发的公文写作助手，可以支持总结报告、学习心得等等内容的辅助写作。针对长篇写作内容的场景里，我们在可控文本生成上面做了一系列的研究，解决长文本内容偏移的问题，生成的文本的语意的一致性也是比同类技术提升了 26% 。
另外我们做了智能问答系统，在内部的智能客户的机器人上面，问题匹配率也是达到了92.6%，然后依赖客服机器人去解决问题的成功率达到 65% 。整体的应用使用也是有所提升，这一个项目也是获得了今年哈佛商业评论里面鼎革奖的年度技术突破奖。
还有一些比较典型的应用，这个是和我们的开发者，一起来做的一个 PoC 项目，面向数字社区的助理。开发者面向数字社区的工作人员，提供了一款数字助理，通过采用大模型来模拟到居委会进行投诉，或者是进行咨询的居民，然后来模拟他们的对话，并且对工作人员的回答做出一个判断，并且予以评分。通过这样的方式来提高工作人员面对突发情况的应对能力。
在另外一个场景里我们跟香港的浸会大学的教授一起基于大模型自然语言处理能力，开发一种心理辅导的培训机器人。这种也是基于这样的反向思维，让 AI 去承担心理咨询对话当中的求助者的角色，让咨询师根据心理来做求助的患者。通过这样的方式，我们可以用大模型模拟可能存在问题的输入，通过标准工作者的工作内容去得到相应标准的答案。这其实也是互联网思维的一个非常典型的叫羊毛出在猪身上，我们通过这样的方式，也可以获取非常多标准的数据集和针对应用场景下的标准数据集，有这些数据的情况下，反过来之后，我们再对大模型做微调之后模型就有能力去扮演工作人员的角色，然后对心理咨询的患者直接进行辅导。这样的过程其实就是在当中提到的 RLHF 的人环强化学习的一种合理的运用。
关于视频回放获取方式：