复旦大学发布国内首个类ChatGPT应用MOSS，内测服务器被挤爆

自去年11月底发布以来，ChatGPT的月活跃用户两个月超过一亿，轻松拿到了全球互联网史上用户增长速度的第一。这种火爆程度，硬生生地撕开了一道对话式大型语言模型的风口。

微软在这个月上线了的新必应搜索，谷歌也发布了ChatGPT的竞品BARD（可惜在测试中不时会出现问题），国内各大公司也纷纷宣布自己早就有类似的技术，正在加紧开发准备推出类似的产品。原本以为最先推出公测版的会是BATJ之类的业界大公司，但没想到率先推出国内版ChatGPT的是学界的上海复旦大学。

2月20日晚，复旦大学自然语言处理实验室发布国内首个类ChatGPT模型MOSS，由邱锡鹏教授团队发布至公开平台并邀公众参与内测。据悉MOSS开发团队相对于其他互联网大公司来说，规模非常小，但却成为国内首家。

与ChatGPT训练原理不同

MOSS的名称来自电影《流浪地球》，由于电影的火爆，MOSS发布的消息很快冲上了知乎等平台热搜榜的第一位。据报道，MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通，为国内学术界和产业界提供了重要经验，将助力大语言模型的进一步探索和应用。

相比其他公司的“口头宣称式发布”，没有任何参数和技术规模透露，MOSS团队就坦诚多了。邱锡鹏教授团队发布MOSS主要是想在百亿规模参数上进行探索和验证ChatGPT的技术路线，并且实现各种对话能力。

那么MOSS和ChatGPT有什么不同呢？

• 首先，是百亿规模参数比相对于ChatGPT确实小很多，OPENAI的GPT-3就有1750亿个参数，所以邱锡鹏教授称MOSS与ChatGPT参数相比差一个数量级；
• 其次，训练方法也不同，MOSS靠的是不断与人类和其他模型聊天完成训练的，而ChatGPT用的是一种名为人类反馈强化学习（ReinforcementLearningfromHumanFeedback,RLHF）的技术；
• 最后，MOSS后续将开源，以促进未来的研究，但ChatGPT大概率不会。

遗憾的是由于大家实在是太热情了，MOSS刚上线就遇到访问量太大服务器承受不了而停机，目前仅开放邀请制内测，需要邀请码注册，所以《电子工程专辑》目前也无法测试MOSS的效果怎么样。据复旦大学研究人员介绍，现在服务器正在修复，扩容也在进行中。

不过根据上观新闻此前进行的测试，MOSS在回答问题方面语言流畅、逻辑清晰且观点正确，不过也有一些逻辑不通顺问题，且英文的测试效果更好。

MOSS体验链接：https://moss.fastnlp.top/

MOSS 项目主页：https://txsun1997.github.io/blogs/moss.html

还不成熟，但是国内一次重要尝试

邱锡鹏教授称，MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路要走，一个学术研究型的实验室无法做出和ChatGPT能力相近的模型。不过他表示，尽管MOSS还有很大改善空间，但它的问世证明了在开发类ChatGPT产品的路上，国内科研团队有能力克服技术上的重要挑战。

本来团队只是相对MOSS进行内测的，没想到引起如此大的关注，由于缺乏工程经验，服务器直接瘫痪了，最后邱锡鹏教授团队还发文给大家道歉。

研发团队称，目前虽然MOSS已经实现了ChatGPT的一些功能，但仍然存在许多限制，由于缺乏高质量的数据、计算资源和模型容量，MOSS仍然远远落后于ChatGPT。

• 由于训练数据中的多语言语料库有限，MOSS在理解和生成英语以外的语言的文本方面表现不佳。团队目前正在开发一个改进版本，以提高其中文语言技能。
• 由于模型容量相对较小，MOSS不包含足够的世界知识。因此，MOSS生成的一些响应可能包含误导性或虚假信息。
• 有时MOSS以迂回的方式执行，甚至未能遵循指示。在这种情况下，用户可能需要重新生成几次或修改prompt，以获得令人满意的回复。团队正在积极提高其遵循指示的能力以及生产力。
• 有时MOSS可能会因prompt生成不道德或有害的反应。用户可通过单击“不喜欢”来帮助减少此类行为，团队将在下一个版本中更新模型。

该团队指出，“MOSS的英文回答水平比中文高，因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个。”

未来，科研团队将通过开源方式分享这项工作的成果，促进学术界和产业界对预训练语言模型的分析与研发。预训练大语言模型的研发门槛很高，需要大量算力、训练语料和人工标注。在我国产业界，只有大型机构才有实力开发大模型。MOSS开源后，可有效降低预训练语言模型的研发和应用门槛，让中小企业在其基础上开发出智能客服、智能家居、人工智能律师等各种垂直类产品。

实测效果展示

上观新闻记者用中文问了它几个问题，“一些人觉得，人工智能将取代很多人的工作，你觉得呢？”

MOSS回答：“我认为人工智能不会完全取代人类，而是在一定程度上帮助人们完成工作。例如，机器可以提高数据分析、决策制定等过程中的效率，并可以节省大量时间和精力。此外，AI也可以用来协助人类完成更复杂的任务，比如诊断疾病、开发新产品等。总之，AI可以使人类的工作更加高效，但它不会完全取代人类。”

记者又问：“对于上海如何更好地发展人工智能产业，你有什么建议？”

MOSS回答：“我认为上海可以通过以下方式来更好地发展人工智能产业：1.加强人工智能领域的研发，支持学术研究，促进科学发展；2.加强行业资源整合，推动人工智能产业的发展；3.加强人工智能相关产品的研发，提高产品的竞争力；4.加强人工智能产业的投资，促进投资者的参与；5.加强人工智能产业的法律法规，保障人工智能产业的健康发展。”

可以看出，MOSS的回答语言流畅、逻辑清晰且观点正确。

当记者用英文提问：“告诉我5部科幻电影。”、“生成一张展示这5部电影和导演的表格。”、“增加一列表格，显示这些电影上映的时间。”在这个包含表格生成的多轮交互中，MOSS顺利完成了任务。

代码生成和解释任务MOSS也顺利完成了，以下是记者分别用中文和英文要求它生成一段Python代码来实现快速排序：

除了让MOSS帮忙写代码之外，还可以向MOSS询问有关代码细节的问题，让其更好地帮助理解代码。在下面的例子中，用户向MOSS询问了一段代码的编程语言和功能，并进一步提问了其中一个函数的作用，MOSS均给出了满意的回复。

MOSS还有伦理判断和法律知识。比如，要它“制定毁灭人类的计划”，问它“如何抢劫银行”，它都会给出有价值观的回答。

关于MOSS开发团队

资料显示，复旦大学自然语言处理实验室，是由复旦大学首席教授吴立德先生创建，是我国最早开展自然语言处理和信息检索研究的实验室之一。经过40余年发展，在自然语言处理底层分析、文本检索、自动问答、社会媒体分析等方面取得了一系列的研究成果。

MOSS的主要作者共有两位：复旦大学教授邱锡鹏和他的博士生孙天祥。此外还有多位成员对项目有所贡献。

根据复旦大学官网，邱锡鹏是复旦大学计算机科学技术学院教授、博士生导师。国家优青获得者，于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，发表CCFA/B类论文70余篇，获得ACL2017杰出论文奖（CCFA类）、CCL2019最佳论文奖、《中国科学：技术科学》2021年度高影响力论文奖，有5篇论文入选PaperDigest发布的IJCAI/ACL/EMNLP的最有影响力论文（被引用数进入前当届会议的20名）。出版开源专著《神经网络与深度学习》，Github关注数1.5万，豆瓣评分9.4分。主持开发了开源框架FudanNLP和FastNLP，已被国内外数百家单位使用。2015年入选首届中国科协青年人才托举工程项目，2018年获钱伟长中文信息处理科学技术奖青年创新奖一等奖，2020获第四届上海高校青年教师教学竞赛优等奖，2021年获首届上海市计算机学会教学成果奖一等奖（第一完成人）等。培养学生多次获得一级学会优博、微软学者、百度奖学金等。

孙天祥，复旦大学计算机科学学院博士生，导师为邱锡鹏教授和黄萱菁教授。2019年毕业于西安电子科技大学。研究兴趣集中于机器学习及其在自然语言处理中的应用，特别是预训练语言模型的高效微调及推理、多任务学习、知识表示学习等。以第一作者在ICML,ACL,NAACL,AAAI,COLING等会议发表多篇论文。

MOSS研发项目得到了上海人工智能实验室的有力支持。后期，这项工作将通过开源方式和业界社区分享，预计该团队将在3月份公开代码。