芯片可能成为我们追赶ChatGPT的最大瓶颈

来源:电子工程世界发布时间:2023-02-171388浏览

ChatGPT一声惊雷，平静的搜索江湖瞬间风暴骤起。微软高调上线ChatGPT版Bing搜索引擎，逼得Google仓促应战，推出基于LaMDA 模型的同款聊天机器人，结果Bard变bug，反而把自家股价打掉了2000亿美元。

与此同时，百度也宣布自研的“文心一言”正在加速内测，预计三月底问世。

蛰伏已久的科技巨头们同时变得紧张，除了ChatGPT在公众中掀起的热潮，也因为他们预感到ChatGPT所代表的LLM（大语言模型）应用很可能是一种“元技术”。

“元技术”指的是该技术的持续运用可以反过来加速技术本身的进步。例如：芯片在现实世界中的应用能从开发效率，应用场景和资金投入上反哺研发，从而加速芯片本身的进步；“元技术”的发展符合指数增长的规律，因此能够克服研发管理中常见的复杂度爆炸，逃离“中等进步陷阱”的引力束缚。

也正是由于“元技术”的属性，芯片的研发才能够不断实现突破，追上摩尔定律的要求，相比而言生物技术等非“元技术”，则在摘光低垂的果实后搭不出技术升级的垫脚石，从而深陷Eroom’s Law（反摩尔定律）的泥潭。

正如大家体验到的，使用ChatGPT可以极大解放工作效率，这也包括Open AI自己的研发人员。亿级用户对ChatGPT的花式提问和反复测试出的“prompt黑魔法”，也为后续版本的迭代迅速积攒了海量素材。

除此以外，LLM单次训练的巨大成本和对算力资源的占据，也构成了对新玩家残酷的进入壁垒。

随着竞争的加剧，无论是资金还是算力都会理性的向技术领先者集中，从而自我实现“强者愈强”的马太定律。

至此，ChatGPT的“元技术”飞轮，隐隐已形成闭环。所以，如果没有在“技术奇点”前及时上车，已有科技巨头和OpenAI在AI应用上差距将不可逆的拉大，最终陷入万劫不复的螺旋衰落；而那些小型AI创业团队，面对模型代差和资源无法弥补的差距，灭顶之灾已然到来。

而在更高的层面上，作为“元技术”的ChatGPT可能对中国的未来具有核弹级的震荡性。

过去十年中国科技产业的进展，靠的是“fast follow”和工程化上充满暴力美学的 “饱和式执行”。而这背后所依托的，则是国内教育体制带来的“工程师福利”。

虽然培养不出S级的创新人才，但产出的B级标品量大管饱：稳定、勤奋、执行力强、而且还相当便宜，可以迅速填平从源头创新到应用落地的时间差距，直接把海外的原创者给卷没了。

但ChatGPT作为史上最优秀的复读机，恰好和“中国机器人”的功能重合了。

你会的我也会，你不懂的我还懂，你能996，但我能365天007，你行吗？更何况ChatGPT还不是人，无负面情绪之乱耳，无柴米油盐之劳形，不会辞职，绝不躺平。

熟练运用ChatGPT相当于雇了一个随叫随到，皮实耐造，拥有各知识领域基础技能的助理团队。对眼高过顶的S级创新者而言， ChatGPT为其想法的prototype落地提供了全天候的助力；对集聚S级人才的创新企业而言，ChatGPT则意味着执行落地不再成为主要的发展瓶颈。而人员规模的瘦身和智力浓度的提升，还能进一步减少内部信息传导的损耗，如只有四百人的Open AI那样敏捷高效。在这种情况下，使用开源框架fast follow的大厂策略还能产生规模效应吗？即便还能压缩出成本优势，也会在时间效率上遭遇降维打击。国内有人常常嘲笑美国大学在产出少量S级和A级精英的同时，却制造了一堆垃圾，以至于要从中印长期进口B级好员工；现在可能要笑不出来了。过去擅长的骑射武功突然过时了，而机关枪对射的世界里没有你的位置。因此，如果BAT没有抢到此轮ChatGPT的船票，科技产业将错失这一致命的“奇点时刻”。遗憾的是，国内众多玩家不但在模型上被拉开身位，在算力和数据上也即将甚至已经面临极大的限制。LLM对算力的吞噬是贪婪的，GPT-3 的1750亿参数（45.3T）模型单次训练需要1024张NVIDA A100 GPU训练34天。但是，目前A100这个级别的芯片是禁运的。接下来，GPT-4需要的算力可能会继续增加两个数量级，我们那时候用什么芯片来追赶呢？毕竟现在连45nm制程的光刻机都要被禁运了。芯片禁运对国内AI技术的压制堪称智子锁死。有人说这没关系，可以通过叠加成熟制程的芯片以量换质，或是慢点训练最终也能达到同等技术水平。芯片禁运，本来就不是为了一锤子打死你，而是通过增加中国科技企业的算力成本，让任何AI应用的落地在财务上不可行（甚至在热力学上都不可行），搞得你只能在利润失血和被迫缴械之间二选一，无法进入良性业务循环。只要持续禁运，拖慢对手的进程，在过了“奇点时刻”后，“元技术”的代差可能就无法收敛了。如果新一轮LLM输出的成果反哺到芯片研发的流程，那么这种速度差距将会进一步拉开。而在数据来源上，微软和Google依托的是超主权的全球互联网文本。以GPT-3为例，数据主要来自Common Crawl，共31亿个页面，覆盖了2016-2021年间的互联网文本数据，并用WebText2作为高质量文档类对原始数据进行了质量过滤；此外还导入2个图书库和Wikipedia进行了额外补充。BAT所依托的中文互联网，在量级上不够（Common Crawl里中文数据不到5%），而且数据生态也不够好。大部分中文页面的信息可信度还不如百度贴吧，极少的高质量数据则被圈在各个厂家私域的“围墙花园”中，而且有相当多的链接打开后是404。至于用结构化数据库进行补充，你指的是知网和百度百科这对哼哈二将吗？以这种质量和结构性缺失的数据集进行训练，结果很可能是garbage in garbage out的废话生成器，就比如百度匆匆下线的Plato杠精机器人。而在当前的数据主权和信息安全规范下，利用海外数据“西数东算”再翻译回中文也困难重重。更深一层思考，又如何剔除“进口模型”中内隐的意识形态植入？“根据相关法律，本答案不予显示”？精明如微软，一开始就封掉了中国IP使用ChatGPT版Bing搜索引擎的权限，割以永治。致命的奇点时刻，正在敲响警钟。

芯片可能成为我们追赶ChatGPT的最大瓶颈

全部评论

热门搜索