能读图、考高分、训练高效的GPT-4，还带来什么惊喜？

电子工程专辑讯在3月15日凌晨1点，OpenAI发布GPT-4最新语言模型，而这距离ChatGPT的上线仅仅过去了4个月时间。

GPT-4是通过在微软Azure上训练大量的数据来生成的。微软已经向这家初创公司投资了数十亿美元。GPT-4使用了OpenAI最新一代人工智能架构Pathways研发的5400亿参数大模型——PaLM，可以接受图像和文本输入，输出文本，具备标记因果关系、上下文理解、推理、代码生成等等多项功能，其中常识推理能力更是较之前提升了20%。

来自推特

先简单介绍下GPT的一个发展历程：

• 2017年6月，Google发布论文《Attentionisallyouneed》，首次提出Transformer模型，成为GPT发展的基础。
• 2018年6月，OpenAI发布了第一个GPT模型，使用了117M参数和80万词汇量的Transformer模型，在12个自然语言处理任务上取得了优异的结果。
• 2019年2月，OpenAI发布了GPT-2模型，使用了15亿参数和50万词汇量的Transformer模型，在36个自然语言处理任务上刷新了记录。
• 2020年5月，OpenAI发布了GPT-3模型，使用了1750亿参数和50万词汇量的Transformer模型，在多个自然语言处理任务上达到了人类水平或超越人类水平。
• 2021年11月，OpenAI发布了ChatGPTPlus模型，使用了300亿参数和100万词汇量的Transformer模型，在对话生成方面表现出惊人的能力。
• 2023年3月，OpenAI发布了GPT-4模型，使用了5400亿参数和100万词汇量的PaLM架构，在多种输入输出类型上展现出强大的生成能力。

GPT-4的语言和考试能力

GPT-4是OpenAI扩展深度学习的最新里程碑，它通过模拟律师考试，分数在应试者的前10%左右；相比之下，GPT-3.5的得分在倒数10%左右。OpenAI通过使用最新的公开测试（在奥林匹克竞赛和AP自由回答问题的情况下）或购买2022-2023年版本的模拟考试来继续进行。他们没有针对这些考试进行专门培训，不过该模型在训练期间看到了考试中的少数问题。OpenAI认为结果是具有代表性的。

图1：考试成绩（按GPT-3.5成绩排序）注：估算的百分位数下限（在应试者中）

这是考试结果的输出图，往下再看看GPT-4在不同领域的考试分数。对比GPT-3有显著提升。

图注：GPT-4的考试成绩清单

OpenAI在机器学习模型设计的传统基准上评估了GPT-4。GPT-4的性能超过了现有的大型语言模型，与大多数最先进的（SOTA）模型并驾齐驱，这些模型可能包括针对基准的工艺或额外的训练协议。

在其他语言的能力上，OpenAI使用AzureTranslate将MMLU基准——一套涵盖57个主题的14000个多选题--翻译成了各种语言。在测试的26种语言中的24种语言中，GPT-4的表现优于GPT-3.5和其他LLM（Chinchilla，PaLM）的英语表现，包括低资源语言，如拉脱维亚语（Latvian）、威尔士语（Welsh）和斯瓦希里语（Swahili）：

从数据来看，GPT-4对于中文等非英语语言也有很大的进步，处理中文的准确度大幅提升。

GPT-4的视觉输入

GPT-4的视觉可以将图像作为输入，并生成标题、分类和分析，还可以利用图像和文本的信息来完成各种任务，例如：从图片中提取信息并回答问题；根据图片生成描述性或创意性的文本；根据文本生成相关的图片；识别图片中的物体、人物、场景等。

在OpenAI的视觉输入案例介绍中是关于“VGA充电器”。

用户：这张图有什么好笑的？一个面板一个面板地描述它。

GPT-4：该图显示了带有三个面板的“LightningCable”适配器的包装。

面板1：带有VGA连接器（一种大的蓝色15针连接器，通常用于计算机显示器）的智能手机已插入其充电端口。

面板2：“LightningCable”适配器的包装，上面有VGA连接器的图片。

面板3：VGA连接器特写，末端有一个小型闪电连接器（用于为iPhone和其他Apple设备充电）。

这张图片中的幽默来自将过时的大型VGA连接器插入小型现代智能手机充电端口的荒谬做法。

上图可见，它已经可以看懂梗图、漫画、艺术作品等多种形式的视觉内容，并与之进行交互。

安全问题的改善

GPT-4在敏感问题上的回答也有很大的改善。OpenAI请了50多位来自AI对齐风险、网络安全、生物风险、信任和安全以及国际安全等领域的专家来对模型进行对抗性测试。他们还收集了额外的数据来提高GPT-4拒绝有关如何合成危险化学品的请求的能力。

也就是说，GPT-4与GPT-3.5相比，显着改善了许多安全特性。他们已将模型响应不允许内容请求的倾向降低了82%，并且GPT-4根据政策响应敏感请求（例如，医疗建议和自我伤害）的频率提高了29%。

OpenAI还对GPT-4多方面进行了测试，来证明现在的GPT-4具备更加先进的AI性能，我这里就不一一介绍。OpenAI也对此表示，期望GPT-4能作为一个有价值的工具，为许多应用程序提供动力来改善人们的生活。

不过OpenAI也警告称，GPT-4还不完美，在许多情况下，它的能力不如人类。该公司表示：“GPT-4仍有许多已知的局限性，我们正在努力解决，比如社会偏见、幻觉和对抗性提示。”

额外提一点的是，可能会有人好奇GPT-4怎么访问。根据OpenAI官网介绍，如果要访问 GPT-4 API（它使用与 gpt-3.5-turbo 相同的ChatCompletions API），需要注册他们的候补名单。在OpenAI发布GPT-4后就开始邀请部分开发人员，并逐步扩大规模以平衡容量与需求。不过目前的GPT-4还只能支持纯文本请求，图像输入仍处于有限的 alpha 阶段。按照现在的说法是，开放的GPT-4只支持到6月14日，之后就要开始收费了。

GPT-4里程碑背后的喜和忧

GPT-4的推出也让很多人感觉到担忧，比如有一研究NLP的普通博士就表示，作为一个研究NLP的普通博士生，我对GPT-4有一种复杂的感觉。这当然是令人沮丧的，因为它使我对自己的研究价值产生怀疑。但是，这种兴奋感太过强烈了;grinning:

还有网友评论，看来以后只能去做个司机了，因为GPT-4没有手......（但是以后会有自动驾驶......)

还有推特@Pietro Schirano借助GPT-4尝试了在60秒内重建了一个乒乓游戏“pong”，并表示，“GPT-4是一个令人难以置信的变革技术。”Pietro Schirano之前采用GPT 3.5时候必须进行一些调试或者询问错误，这是他第一次一次性完成。

GPT-4的发布还是有很大的意义，它是人工智能领域的一次巨大飞跃，也是技术道德规范的又一重大转变。GPT-4不仅提高了语言理解和生成的能力，还增加了图像处理和多模态融合的能力，为各种智能应用和交互式游戏提供了更强大的技术支持。同时GPT-4也给我们带来了新的挑战和机遇，例如如何保护数据隐私、防止信息造假、促进技术公平等。