”是说芯语”已陪伴您1480天
作者
｜Neil Shen
邮箱
｜neilshen@pingwest.com
图源：《我，机器人》电影截图
ChatGPT 只是另一场AI噱头吗？
明面上，ChatGPT的热度在最近降了下来，这实在是符合许多唱衰AI产业的人一贯的论调——就像击败国际象棋冠军的深蓝、国际围棋冠军的AlphaGo一样，爆红的AI工具总是最终归于平静。因为这些炫酷的工具往往有一个无法回避的问题：
商业化的前景在哪里？从使用场景上说，除了专业棋手，没有人会需要每天和机器人对弈，而ChatGPT作为一个吸收了无数语言材料，光是模型参数就有一千七百多亿的大模型，目前最适用场景似乎只有完成学术论文中内容梗概撰写和统一注释格式，以及帮助论文作者规避查重风险。说实话，ChatGPT在这方面完成的不错，几乎成了留学生中的不传之秘，以至于有华裔学生专门写了一个名为GPTZero的app负责辨认作业中ChatGPT生成的内容。但也仅此而已。从成本角度说，动辄数千万美元的开发和部署成本让外界有了坚定看衰它的理由，这个所谓智能聊天工具实在太过昂贵，更何况它最让人惊艳的那部分：对人类语言和对话逻辑的理解，对回答内容的“生成式”创作，都随着越来越多的“翻车”实例而迅速“祛魅”。那些认为它将取代搜索引擎、颠覆智能语音助手的乐观论调正在消失。ChatGPT在大众视角中似乎即将走上过往那些AI工具的老路，流星一样炫目，然后归于沉寂。
图源：《黑客帝国》电影截图但，真的仅此而已吗？
第一个造出飞机的人
Sheng谈到ChatGPT时充满了一种兴奋和紧张混合的口吻，他是在清华从事预训练大模型研究的博士生。“就在两年前，要不要走预训练大模型的方向，整个学界还在讨论中。”Sheng说到，而原因正是上面提到的，大模型一次的训练成本实在太过高昂，能得到什么结果也是未定之数，很少有人愿意冒险。国内相关方向的玩家一度倾向使用大小模型协同配合的方法提高AI工具效果，因为传统观点认为，在规模相对较小的模型上进行训练，效果并不一定比大模型差。而不止一位AI方向的从业者也表示，过去业内对人工标记数据的重视也远远不够，大家没料到ChatGPT采用的基于人类反馈的强化学习效果会如此之好。直到OpenAI推出了ChatGPT。“
有多少人工，就有多少智能。”这是人工智能领域经常被拿来调侃的一句话，用来形容ChatGPT再合适不过。作为预训练大模型，它很好的体现了“大”这个字。一方面，相比GPT1，GPT3的参数规模提升了将近1500倍。另一方面，由于运用了所谓的“自监督学习（self-supervised learning）”机制，模型可以使用互联网上海量的文本数据进行训练。这种级别的大模型是前所未见的。“最近的研究告诉我们，当模型达到一定规模后，会有 emergent ability（突现能力）的东西出现。”Sheng说到。某种程度上讲，ChatGPT 的开发者 OpenAI 也是在赌博，没有人知道这条路究竟能不能走通，而正是它们持之以恒不惜血本的投入，最终证明了预训练大模型拥有一般模型所不具备的认知理解能力和泛化能力。换而言之，预训练大模型和人们理想中的AI“通用模型”非常相似。不像是AlphaGo专门针对围棋度身定做，ChatGPT不是针对一个特定的狭窄领域问题开发出来的AI工具，相反，它可能更像某种尚显稚嫩的通用AI计算模型，有回答开放问题的能力，显示出可被灵活部署应用在各种领域的潜力。这正是ChatGPT重要的原因，它向人们展示了预训练大模型的强大威力。
这意味着第三次AI浪潮在经过十多年的发展后，走到一个关键节点。“ChatGPT / GPT-3.5 是一种划时代的产物，它与之前常见的语言模型几乎是导弹与弓箭的区别，一定要引起最高程度的重视。”一篇试图帮助开源社区复现GPT3.5技术路线图的文章在开篇就严肃指出了这一点。（https://zhuanlan.zhihu.com/p/593519656）Sheng则把ChatGPT的诞生比作莱特兄弟发明飞机：“
大家都知道飞机理论上是可以做出来的，但从来没人真的见过飞机。ChatGPT就像是有人突然把飞机摆到你面前，虽然它可能只能飞100公尺，很容易有故障，但它出现了。”
图源：《黑客帝国》电影截图
Bigger than bigger，大模型的潜力还有多少？
同ChatGPT揭示的AI发展浪潮中的关键节点的意义相比，ChatGPT本身的缺陷和孱弱的商业化前景都显得渺小了不少。更何况，对许多从业者来说，ChatGPT暴露出来的缺点并非不可解决。其中一个为许多人指摘的是所谓数据库时限问题。ChatGPT训练是基于一个固定的数据库，截止日期是2021年9月，也就是说ChatGPT无法掌握从那以后世界上发生的任何事的信息，从iPhone 14的发布到美国期中选举，甚至今天的天气状况都不行，在这个方面，ChatGPT的表现甚至赶不上时下任何一款智能语音助手。但从技术层面这个问题并不难解决。实际上，根据外媒爆料，和Open AI 达成战略合作关系的微软即将在3月推出具有AI对话能力的新版必应Bing，它的原理正是将搜索引擎同ChatGPT的能力相结合，甚至，微软还打算在Office 套件中引入相应的能力。最为引人关注的成本问题，在算法层面同样有许多优化迭代的思路。比如，既然ChatGPT在回答问题过程中通过专门的针对训练很好展示了机器模拟人行为的能力，那么在算法层面，让ChatGPT通过模仿人查阅资讯的方式，在涉及纯粹知识和信息的问题时不再调用本身数据库而是直接从网络抓取内容将是非常值得探索的方向。如此一来，大模型可以在不降低自身表现的情况下缩小规模，训练成本也将随之降低。至于商业化落地场景，除了已经比较确定的文本生成、智能助手领域外，实事求是的说，还有大片的荒芜地带亟待开发，但不少从业者都表示了乐观。“
难的是从0到1的原始创新，至于后面的都不是问题。”一位供职于大厂的AI研究从业者说道，“尤其在中国，市场这么大，大家又这么卷，既然大模型的路子被证明是可行的，那么很快所有的聪明人都会加入进来。”Sheng同样预计，短则一两年，就会出现基于预训练大模型的商业化产品。
图源：《X战警-天启》电影截图
必须攀登的山峰
事实上，今年在投资领域，AI是少有的异军突起的热门赛道。然而成本像一道紧箍咒，束缚着每个自身不具有预训练大模型开发能力的玩家。ChatGPT这样级别的预训练大模型跑一次的成本是千万美元级别，而将其商业化部署，落地到类似聊天机器人这样多用户高并发任务中，成本只会更高。小冰CEO李笛给出的一个估计数字是3亿每天。这也就意味着，
国内够资格玩这场烧钱游戏的只能是极个别组织，大部分的初创企业，乃至许多高校，都会被这样的高昂成本“劝退”。Sun 是来自一家国内一线投资机构的投资经理，在看过无数AI相关项目的PPT后，他今年一次都没有出手：“商业化项目是很现实的，你是不是掌握了核心技术？你的竞争壁垒又有多高？”很少有中国企业能够回应这样的诘问。在这种情况下，想要让产品具有AI能力，只能调用公开的大模型接口（比如GPT3.0），等于让自己的核心能力掌握在别人手中。一个非常残酷的例子是Jasper.AI。文本生成领域估值一度高达15亿的Jasper.AI同样在底层调用GPT3.0模型，在ChatGPT 几乎是没有预警的横空出世后，Jasper的业务立刻受到冲击（这个故事被the information 写成了一篇报道 ），因为Jasper 的收费计划最便宜的也高达29美元，且只能生成20000个单词，相比之下，ChatGPT的使用成本简直可以忽略不计，而交互和效果甚至更好。更何况，OpenAI本身也面临着经营压力。从OpenAI内部传出的消息说，预训练大模型的成本之高，OpenAI同样也叫苦连天，从GPT3.0后OpenAI的模型不再开源，而是力推其订阅付费服务（Jasper即是向OpenAI缴纳一定的费用从而获得GPT调用接口）。
开发属于自己的大模型，显然是每个在AI领域有野心的企业所应该做的事。国外们的巨头行动很快，除了OpenAI，提出transformer模型的Google同样拥有专门针对对话应用的大语言模型LaMDA和多模态任务模型MUM，这两个模型被认为与ChatGPT拥有相同的能力。而在硅谷，像Perplexity、YouChat这样的创业公司也正在大预言模型的基础上开发新的聊天机器人。OpenAI也预示了GPT4.0的存在，从版本号上就能看出，届时这个业界领先的大语言模型将有进一步的能力提升。
图源：《X战警-天启》电影截图
因此对中国来说，时不我待，预训练大模型是一块必须啃下来的硬骨头，中国绝不能错过这场AI“军备竞赛”。不仅因为一味模仿或者寻求开源模型接口支持，等于让别人始终掌握掐脖子的科技主动权，同时也将在未来的AI产业竞争中处于不利地位。Sun举了个或许不太贴切的例子：质能方程在1905年就由爱因斯坦提出，原子弹在40年后的1945年由美国人试爆成功，而新中国为了掌握这项技术，又花了近20年时间。一日千里的AI技术发展不会给中国这么长的追赶时间。好消息是，AI技术并不像芯片制造一样有着高不可攀的技术壁垒，尽管没有公布ChatGPT的论文，但不止一位AI工程师表示，仅靠现在公开的知识，顶级AI工程团队很大概率就能复现和ChatGPT差不多的模型，因为“技术本身都是现成的。”坏消息则是，留给我们的时间已经不多。如果说ChatGPT诞生来自巨量资金的投入、充分的技术和人才储备，这些条件国内巨头们尚能够勉强满足的话，那么随着时间推移，如果不在目前这个非常重要的机会窗口期迎头赶上，算法迭代所累积的经验将给以OpenAI为代表的AI公司带来结构性的技术壁垒与代差，这种代际差一旦形成，再想追赶将分外吃力。虽然机器本质上仍然无法思考或创新，但预训练大模型“涌现”出的“智能”以及它出色的泛化能力，将使得AI产业本身不再成为一个赛道，而是演变为类似石油、电网一样的基础生产力资源，彻底改变整个信息产业的格局。经过十多年的发展，基于深度学习框架的AI浪潮已经找到了一个明确的发力方向，随之而来的将会是如同西部掘金大潮一般的热烈景象，无数机会和突破将涌现出来，想要在这场烈火烹油的AI革命中跟上，我们必须拥有属于自己的ChatGPT。否则让它跑太远，再追就来不及了。
参考资料：ChatGPT进化的秘密
https://zhuanlan.zhihu.com/p/593519656The Best Little Unicorn in Texas: Jasper Was Winning the AI Race—Then ChatGPT Blew Up the Whole Game
https://www.theinformation.com/articles/the-best-little-unicorn-in-texas-jasper-was-winning-the-AI-race-then-ChatGPT-blew-up-the-whole-game
加入“中国IC独角兽联盟”，请点击进入
----------------------- END-----------------------
推荐阅读：
美国梭哈，日荷跟进，中国芯片奋力一搏还是盖牌走人？
重磅！主板IPO涉及集成电路企业“即报即审，审过即发”
半导体衰退，比我们想象严重得多
深度聊下：近期半导体行业的趋势
我国光刻机发展怎么样了？
半导体到底怎么了？
美国芯片封锁：缘由、影响、及应对
是说芯语转载，欢迎关注分享
