再添一个国产百亿大模型 400亿参数孟子GPT 性能提升10-15%
2023-08-28 19:14:57 编辑:逄时学 来源:
导读 8月27日,国产大模型孟子GPT正式上新发布。孟子GPT-40B版本领先于7B版本,性能会提升10%~15%。超越国内的部分大模型,在多语言任务上与Chat...
8月27日,国产大模型孟子GPT正式上新发布。孟子GPT-40B版本领先于7B版本,性能会提升10%~15%。超越国内的部分大模型,在多语言任务上与ChatGPT-3.5及其相似。孟子GPT-40B的优越性能主要集中在中文极多语言能力、写作、多轮对话等各个方面,拥有非常优秀的中文能力以及英文能力。
孟子GPT的创作公司是澜舟科技,自从21年成立以来,先后发布孟子系列模型以及多个垂直领域模型拿到数亿元融资。本次除了发布孟子GPT之外,同步上线行业大模型以及基于大模型的产品应用。孟子GPT在底层算法上使用了更成熟的预训练技术,利用50万指定数据精调,基于70亿参数量的奖惩函数进行强化学习。让大模型拥有了更强的能力,训练速度可以提升8.5倍,推理速度提升4.6倍。