1/3
“小一号的ChatGPT”升级中!复旦大学“MOSS”模型研究成果将开源
东方网2023-03-02 11:30:43

东方网记者傅文婧3月2日报道:ChatGPT模型让新一轮AI革命成为全世界关注的焦点,这一热潮也“带火”了国内的研究成果。复旦大学计算机科学技术学院邱锡鹏团队近日发布的类ChatGPT模型MOSS也收到了公众大量关注。

对项目主开发者、计算机科学技术学院博士研究生孙天祥而言,最兴奋的一刻是在测试过程中输入了一个中文问题,MOSS却以英文正确回答,“就像一个不会说但听得懂中文的人”。而当时版本的MOSS还很初级,中文语料占所有训练数据不到0.1%。

“很神奇,我们没有教过它机器翻译。”MOSS显示出的潜能让邱锡鹏当晚激动到失眠。他把MOSS比作一个“聪明的小孩”,即便现在还不擅长写诗、解题或很多具体的事,但已展示出成为通用人工智能(AGI)大框架的潜能,“很多遥不可及的事情,它一点就通了。”实际上,邱锡鹏也让6岁的女儿和MOSS聊天,发现孩子可以愉快地和MOSS对话很长时间。

“对公众而言,ChatGPT、MOSS这些模型的出现或许非常突然,但对于一直关注这个领域的人来说,一切都有迹可循。”邱锡鹏介绍,比如Google在这个领域的技术研发并不亚于OpenAI,只不过OpenAI把这件事做得比较极致,并且提出了“对话”这种非常创新的交互形式,赋予了大型语言模型与人类直接交互的能力,使大型语言模型看起来非常智能。

MOSS的开发不是一蹴而就,它离不开团队过去的铺垫工作和长期积累的研究经验。“从2021年起,我们就开始做中文生成式预训练模型,也开源供别人下载,每月平均有上万次下载。”邱锡鹏表示,之后团队又提出“语言模型即服务”的概念,认为基础语言模型会成为语言服务的基座。22年因为意识到大型语言模型会成为将来的基座,所以开始做大型语言模型方面的训练。后来又花费了半年时间,研究如何使大型语言模型理解人类指令以及具备对话能力。

MOSS的名字是怎么来的?邱锡鹏透露,在学术圈,大家非常喜欢用影视形象给自己开发的AI模型命名,也是一个比较常见的做法。比如,Transformer模型、Megatron模型名称取自《变形金刚》,BERT模型、ERNIE模型化用了《芝麻街》中的角色形象。“开发过程中,正逢《流浪地球2》电影热映,我们的团队成员都非常喜欢《流浪地球2》,也都是《流浪地球2》的粉丝。影片中的智能量子计算机MOSS给我们留下了深刻的印象,所以我们就把模型命名为MOSS,也是向《流浪地球2》这部电影致敬。”邱锡鹏说,也有《流浪地球2》的粉丝们发来邮件,“希望我们一定要加油,真的能够做出来。”

据目前已参与内测的一些用户表示,尽管MOSS在参数规模上和ChatGPT相比小一个量级,事实性问题覆盖不够全面,经常会“一本正经地胡说八道”,但确实有“ChatGPT那味儿”,“基本功能都实现了”。而这些天,邱锡鹏与MOSS团队8位年轻的复旦学生一起正紧锣密鼓地开展内测和迭代工作。新模型预计在3月份底优化完成,后期再逐步对社会开放。

邱锡鹏很乐观,认为在不远的将来,MOSS这类大型语言模型会成为和搜索引擎一样常规的存在,为人们生活的方方面面提供助益。开源(即开放源代码和模型参数)是邱锡鹏和复旦自然语言处理实验室的同仁们一直以来的学术坚持。“这次也会将研究成果开放给公众与社会。”

作者:傅文婧
知识产权、免责声明以及媒体合作联系
继续了解
知识产权声明

【知识产权声明】

除本司(指上海东方网股份有限公司)另行声明外,本司网页及客户端产品(以下简称“本网”),包括但不限于东方新闻、翱翔、东方头条等,所涉及的任何资料(包括但不限于文字、图标、图片、照片、音频、视频、图表、色彩组合、版面设计、商标、商号、域名等)的知识产权均属本司和资料提供者所有。未经本司书面许可,任何人不得复制、转载、摘编、修改、链接、镜像或以其他任何方式非法使用东方网的上述内容。对于有上述行为者,本司将保留追究其法律责任的权利。

东方网、东方新闻、翱翔,以上均为本司享有权利之合法商标,未经本司书面授权,任何单位或个人不得使用上述商标,或将上述商标用作网站、媒体名称等。

【免责声明】

1、凡本网注明来源“东方网”或“东方新闻”或带有东方网LOGO、水印的所有内容,包括但不限于文字、图片、音频视频,版权均属本司所有,任何媒体、网站或其他任何形式的法律实体和个人未经本司书面授权均不得转载、链接或以其他方式复制传播。与我司签订有关协议或已经获得本司书面授权许可的媒体、网站或其他任何形式的法律实体和个人,应在授权范围内使用,且必须注明来源“东方网”。其目的在于传递更多信息,并不意味着本司赞同其观点或认可其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须保留本司注明的“稿件来源”,并自负全部法律责任。如擅自篡改为“稿件来源:东方网”,本司将依法追究责任。

2、擅自使用东方网名义转载不规范来源的信息、版权不明的资讯,或盗用东方网名义发布信息,设立媒体账号等,本司将依法追究其法律责任。

3、鉴于本网发布主体、发布稿件来源广泛,数量较多,如因作者联系方式不详或其他原因未能及时与著作权拥有者取得联系,或著作权人发现本网转载了其拥有著作权的作品时,请主动来函、来电与本司联系,或与本司授权的中国文字著作权协会联系,提供相关证明材料,我方将及时处理。
中国文字著作权协会联系方式:
联系人:赵洪波 唐亚静
地 址:北京西城区珠市口西大街120号太丰惠中大厦1027-1036室
联系电话:010-65978917
邮 箱:wenzhuxie@126.com

4、本网所有声明以及其修改权、更新权及最终解释权均属本司所有。

【媒体合作】

本司为尊重保护著作权,鼓励有益于社会主义精神文明、物质文明建设的作品的创作和传播,促进互联网良性发展,本着平等互惠、资源共享的原则,诚邀各类媒体、网站、单位、个人与本网建立友好的合作关系。
媒体合作、内容转载请联系
联系人:杨老师
联系电话:021-22899781