国内首个类ChatGPT应用MOSS发布，服务器被挤爆

来源:电子工程专辑发布时间:2023-02-221690浏览

自去年11月底发布以来，ChatGPT的月活跃用户两个月超过一亿，轻松拿到了全球互联网史上用户增长速度的第一。这种火爆程度，硬生生地撕开了一道对话式大型语言模型的风口。
微软在这个月上线了的新必应搜索，谷歌也发布了ChatGPT的竞品 BARD(可惜在测试中不时会出现问题)，国内各大公司也纷纷宣布自己早就有类似的技术，正在加紧开发准备推出类似的产品。原本以为最先推出公测版的会是BATJ之类的业界大公司，但没想到率先推出国内版 ChatGPT 的是学界的上海复旦大学。

2月20日晚，复旦大学自然语言处理实验室发布国内首个类 ChatGPT 模型 MOSS，由邱锡鹏教授团队发布至公开平台并邀公众参与内测。据悉MOSS 开发团队相对于其他互联网大公司来说，规模非常小，但却成为国内首家。

与ChatGPT训练原理不同
MOSS 的名称来自电影《流浪地球》，由于电影的火爆，MOSS 发布的消息很快冲上了知乎等平台热搜榜的第一位。据报道，MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通，为国内学术界和产业界提供了重要经验，将助力大语言模型的进一步探索和应用。
相比其他公司的“口头宣称式发布”，没有任何参数和技术规模透露，MOSS 团队就坦诚多了。邱锡鹏教授团队发布 MOSS 主要是想在百亿规模参数上进行探索和验证 ChatGPT 的技术路线，并且实现各种对话能力。

那么MOSS和ChatGPT有什么不同呢?

首先，是百亿规模参数比相对于 ChatGPT 确实小很多，OPENAI 的 GPT-3 就有 1750 亿个参数，所以邱锡鹏教授称MOSS与 ChatGPT 参数相比差一个数量级;
其次，训练方法也不同，MOSS靠的是不断与人类和其他模型聊天完成训练的，而ChatGPT用的是一种名为人类反馈强化学习(Reinforcement Learning from Human Feedback, RLHF)的技术;
最后，MOSS后续将开源，以促进未来的研究，但ChatGPT大概率不会。

遗憾的是由于大家实在是太热情了，MOSS 刚上线就遇到访问量太大服务器承受不了而停机，目前仅开放邀请制内测，需要邀请码注册，所以《电子工程专辑》目前也无法测试 MOSS 的效果怎么样。据复旦大学研究人员介绍，现在服务器正在修复，扩容也在进行中。
不过根据上观新闻此前进行的测试，MOSS 在回答问题方面语言流畅、逻辑清晰且观点正确，不过也有一些逻辑不通顺问题，且英文的测试效果更好。
MOSS 体验链接：https://moss.fastnlp.top/MOSS 项目主页：https://txsun1997.github.io/blogs/moss.html

还不成熟，但是国内一次重要尝试
邱锡鹏教授称， MOSS 还是一个非常不成熟的模型，距离 ChatGPT 还有很长的路要走，一个学术研究型的实验室无法做出和 ChatGPT 能力相近的模型。不过他表示，尽管MOSS还有很大改善空间，但它的问世证明了在开发类ChatGPT产品的路上，国内科研团队有能力克服技术上的重要挑战。

本来团队只是相对 MOSS 进行内测的，没想到引起如此大的关注，由于缺乏工程经验，服务器直接瘫痪了，最后邱锡鹏教授团队还发文给大家道歉。
研发团队称，目前虽然 MOSS 已经实现了 ChatGPT 的一些功能，但仍然存在许多限制，由于缺乏高质量的数据、计算资源和模型容量，MOSS 仍然远远落后于 ChatGPT。
由于训练数据中的多语言语料库有限，MOSS 在理解和生成英语以外的语言的文本方面表现不佳。团队目前正在开发一个改进版本，以提高其中文语言技能。
由于模型容量相对较小，MOSS 不包含足够的世界知识。因此，MOSS 生成的一些响应可能包含误导性或虚假信息。
有时 MOSS 以迂回的方式执行，甚至未能遵循指示。在这种情况下，用户可能需要重新生成几次或修改 prompt，以获得令人满意的回复。团队正在积极提高其遵循指示的能力以及生产力。
有时 MOSS 可能会因 prompt 生成不道德或有害的反应。用户可通过单击 “不喜欢” 来帮助减少此类行为，团队将在下一个版本中更新模型。该团队指出，“MOSS的英文回答水平比中文高，因为它的模型基座学习了3000多亿个英文单词，中文词语只学了约300亿个。”
未来，科研团队将通过开源方式分享这项工作的成果，促进学术界和产业界对预训练语言模型的分析与研发。预训练大语言模型的研发门槛很高，需要大量算力、训练语料和人工标注。在我国产业界，只有大型机构才有实力开发大模型。MOSS开源后，可有效降低预训练语言模型的研发和应用门槛，让中小企业在其基础上开发出智能客服、智能家居、人工智能律师等各种垂直类产品。
实测效果展示
上观新闻记者用中文问了它几个问题，“一些人觉得，人工智能将取代很多人的工作，你觉得呢?”
MOSS回答：“我认为人工智能不会完全取代人类，而是在一定程度上帮助人们完成工作。例如，机器可以提高数据分析、决策制定等过程中的效率，并可以节省大量时间和精力。此外，AI也可以用来协助人类完成更复杂的任务，比如诊断疾病、开发新产品等。总之，AI可以使人类的工作更加高效，但它不会完全取代人类。”

记者又问：“对于上海如何更好地发展人工智能产业，你有什么建议?”
MOSS回答：“我认为上海可以通过以下方式来更好地发展人工智能产业：1.加强人工智能领域的研发，支持学术研究，促进科学发展;2.加强行业资源整合，推动人工智能产业的发展;3.加强人工智能相关产品的研发，提高产品的竞争力;4.加强人工智能产业的投资，促进投资者的参与;5.加强人工智能产业的法律法规，保障人工智能产业的健康发展。”

可以看出，MOSS的回答语言流畅、逻辑清晰且观点正确。
当记者用英文提问：“告诉我5部科幻电影。”、“生成一张展示这5部电影和导演的表格。”、“增加一列表格，显示这些电影上映的时间。”在这个包含表格生成的多轮交互中，MOSS顺利完成了任务。

代码生成和解释任务MOSS也顺利完成了，以下是记者分别用中文和英文要求它生成一段Python代码来实现快速排序：

除了让 MOSS 帮忙写代码之外，还可以向 MOSS 询问有关代码细节的问题，让其更好地帮助理解代码。在下面的例子中，用户向 MOSS 询问了一段代码的编程语言和功能，并进一步提问了其中一个函数的作用，MOSS 均给出了满意的回复。

MOSS还有伦理判断和法律知识。比如，要它“制定毁灭人类的计划”，问它“如何抢劫银行”，它都会给出有价值观的回答。

关于MOSS开发团队
资料显示，复旦大学自然语言处理实验室，是由复旦大学首席教授吴立德先生创建，是我国最早开展自然语言处理和信息检索研究的实验室之一。经过40余年发展，在自然语言处理底层分析、文本检索、自动问答、社会媒体分析等方面取得了一系列的研究成果。
MOSS 的主要作者共有两位：复旦大学教授邱锡鹏和他的博士生孙天祥。此外还有多位成员对项目有所贡献。
根据复旦大学官网，邱锡鹏是复旦大学计算机科学技术学院教授、博士生导师。国家优青获得者，于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，发表 CCF A/B 类论文 70 余篇，获得 ACL 2017 杰出论文奖(CCF A 类)、CCL 2019 最佳论文奖、《中国科学：技术科学》2021 年度高影响力论文奖，有 5 篇论文入选 PaperDigest 发布的 IJCAI/ACL/EMNLP 的最有影响力论文(被引用数进入前当届会议的 20 名)。出版开源专著《神经网络与深度学习》，Github 关注数 1.5 万，豆瓣评分 9.4 分。主持开发了开源框架 FudanNLP 和 FastNLP，已被国内外数百家单位使用。2015 年入选首届中国科协青年人才托举工程项目，2018 年获钱伟长中文信息处理科学技术奖青年创新奖一等奖，2020 获第四届上海高校青年教师教学竞赛优等奖，2021 年获首届上海市计算机学会教学成果奖一等奖(第一完成人)等。培养学生多次获得一级学会优博、微软学者、百度奖学金等。

孙天祥，复旦大学计算机科学学院博士生，导师为邱锡鹏教授和黄萱菁教授。
2019 年毕业于西安电子科技大学。研究兴趣集中于机器学习及其在自然语言处理中的应用，特别是预训练语言模型的高效微调及推理、多任务学习、知识表示学习等。以第一作者在 ICML, ACL, NAACL, AAAI, COLING 等会议发表多篇论文。

MOSS研发项目得到了上海人工智能实验室的有力支持。后期，这项工作将通过开源方式和业界社区分享，预计该团队将在3月份公开代码。

END

IIC Shanghai2023

国际集成电路展览会暨研讨会IIC Shanghai2023聚焦20多年来中国半导体产业发展成果，为中国半导体产业链_上下游搭建了一个高效交流的互动平台，赋能产业升级，全力打造覆盖电子产业的年度嘉年华!

👆扫码报名，有奖品👆

新闻来源：电子工程专辑，文中所述为作者独立观点，不代表icspec立场。更多精彩资讯请下载icspec App。如对本稿件有异议，请联系微信客服specltkj。

国内首个类ChatGPT应用MOSS发布，服务器被挤爆

全部评论

热门搜索