AI教父示警 也许人类只是智能演化的过渡

人工智能（AI）被视为将为各行各业带来革命性转变的一项技术，美好愿景令人神往。然而，有「AI教父」美誉的认知心理学家与电脑科学家Geoffrey Hinton，却在AI产业起飞之际，决定辞去Google副总裁职位，离开待了十年以上的Google，除了基于年龄原因想要退休外，也是希望将他对于AI危害的忧虑，能够公开畅所欲言。

据金融时报（FT）引述亲近Hinton人士的说法指出，原则上，Hinton从不公开表达任何对于公司的不满，不论是道德上还是其他方面。就是这样的忠诚心，让他为了发声，不得不选择离开Google。

离开Google后的Hinton，在接受路透（Reuters）专访时，将AI与气候变迁进行对比，「我不想说什麽大家不应该担心气候变迁这种话。气候变迁也有很大风险，但我想AI问题也许更具急迫性」，「面对气候变迁，我们可以很容易的说出该做什麽：只要停止烧碳就行了。但是就AI问题而言，我们根本就不清楚该做什麽」。他在接受纽约时报（NYT）专访时也表示，很难知道要如何防止不肖人士把AI拿来为恶。

Hinton于1947年出生于英国伦敦，家族中科学人才辈出，奠定现代运算理论基础的布林逻辑（Boolean logic），就是以其祖先、英国数学与哲学家George Boole为名。1972年，时年25岁的他，作为爱丁堡大学研究生，开始拥抱「人工神经网络」这一个当时仅有少数研究人员相信的概念，就此成为人生志业。人工神经网络是在尝试模拟人脑运作方式的一种技术，也是目前大多数AI产品发展的基石。

反对AI被用于战场

到了1980年代，Hinton原先担任美国卡内基．梅隆大学的电脑科学助理教授，不过由于不想接受美国国防部的资金，所以转赴加拿大。在当时，美国大部分的AI研究都是由国防部赞助，Hinton的研究资金很多也是来自于美军，但Hinton强烈反对将AI用于战场。Hinton的长期合作夥伴、后来一同获得图灵奖的加拿大电脑科学家Yoshua Bengio表示，两人对于这个社会抱持同样的价值，「那就是人类很重要，所有人类的尊严都是必不可少的，而且每个人都应该从科学正在创造的进步当中受益」。

Hinton对于科技助力战争的忧虑，还体现在2018年他在道德上反对Google与美军合作的态度。根据FT报导，Hinton当时并没有参与公开抗议与连署，只是把想法告诉Google共同创始人Sergey Brin，而Brin也表示对于与美军合作感到不太高兴，所以这件事没有继续下去。

1986年，Hinton与其他学者合作，共同在英国《自然》（Nature）期刊上，发表一篇名为〈透过反向传播误差学习表述〉（Learning representations by back-propagating errors）的研究论文，是神经网络发展史上的一座里程碑。

2012年，Hinton与加拿大多伦多大学的Ilya Sutskever与Alex Krishevsky两名研究生，在电脑视觉技术领域做出重大突破 － 三人一同开发出一套神经网络，可以透过数千张照片的分析，来学习辨认常见的物体，其识别准确度，与以往技术相比，完全不是同一个等级。同一年，三人以此技术为基础，成立了新创企业DNNresearch。

虽然DNNresearch并未实际推出过任何一款产品，但这项技术仍旧引起Google、微软（Microsoft）与百度等业者之间的争夺战。最终，Google在2013年成功收购DNNresearch。

事实证明，三人的合作研发成果，对于后来如Google Bard或OpenAI ChatGPT聊天机器人等技术的诞生，可说功不可没。Hinton也随着DNNresearch收购案加入Google，直至最终主动求去。

而Sutskever后来参与了OpenAI的创建，并成为OpenAI的首席科学家。

Hinton于2018年荣获被称为「运算界诺贝尔奖」的图灵奖，以表彰其对于神经网络技术的贡献。大约也是在这个时间点，Google、OpenAI与其他企业开始开发从大量数码文本中学习的神经网络。Hinton原本认为，这虽然是一种让机器理解与生成语言的有效方法，但仍旧比不上人类处理语言的方式。

GPT-4已可简单推论

但根据NYT报导，到了2022年，当Google与OpenAI开发出使用更加庞大数据量的系统时，Hinton的想法就变了 － 这些系统在某些方面仍逊于人脑，但其他方面正在超越、甚至已经大大超越。

Hinton在接受《麻省理工科技评论》（MIT Technology Review）专访时，对其近期想法的改变作了说明，他从前认为，人类开发的电脑模型不如人类大脑；当时的目的，是透过寻找改善电脑模型的方法，来看看是否能更深入的了解大脑。然而，在近几个月来，他的想法完全改变，他现在认为，也许电脑模型的运作方式，与大脑完全不同。模型用的是反向传播，但大脑大概不是如此。

让他得出这个结论的理由有几个，其中之一就是GPT-4的表现，原因是「反向传播作为学习演算法的能力，也许比起人类更加出色。这很可怕」。

可怕之处何在？

「如果一台运算系统是数码的，就可以让同一个模型在不同硬件上运作，作的是完全一样的事。这些硬件可以各自处理不同的数据，并将学习所得与其他硬件分享，且是非常有效率的方式」。

人类的情况又是如何？

「假设我学习很多有关量子力学的事，如果也想让你理解，会是个很漫长而痛苦的过程。我不能把它复制到你的脑里，因为你的大脑与我的不完全相同。而数码化的电脑不仅可以更快速学到更多事物，还可以马上把彼此教会」。

Hinton认为，Google直到2022年，都还扮演着AI科技的称职管家，小心翼翼避免推出有风险的产品。但如今因为微软利用聊天机器人技术强化了Bing查找引擎，对Google核心事业形成威胁，Google便也急着要利用相同类型的技术。Hinton认为Google没有做错任何事，但如果继续活在资本主义下，就无法阻止Google与微软竞争。

Hinton担忧，在合适的管制措施到位之前，双方的竞争会继续推进AI的发展。而如果没有某种形式的全球监管，这些竞争将升级成为全球范围。不过全球范围的监管实际上也不太可能成功，因为不像核子武器，根本没有办法去查核其他企业或国家是否有在偷偷开发AI技术。

他担心，网络世界马上就会被大量的假照片、影音与文字给淹没，而AI迟早也会颠覆既有的劳动力市场，「我的忧虑在于，AI将使富者更富，贫者更贫；在这种情况下，社会将变得更加充满暴力」，AI技术原本应该要很美好，但它的发展环境，却不是旨在用它为所有人谋福利的社会。

而随着被赋予更大的自主权，未来版本的AI系统，可能对人类造成极大威胁，因为AI从大量数据中分析习得的，常常是出乎意料之外的行为。

虽然推论还是人类更为擅长，但是GPT-4已经可以进行简单的推论了，「我问它，『我想要让所有房间都是白色，但目前有些房间是白色、有些蓝、有些黄，而黄色油漆会在一年之内褪为白色。如果我想让所有房间在两年内全部变成白色，要怎麽做？』它回答，『你应该把所有蓝色房间漆成黄色。』这个解决方案虽然不自然，但确实可行。此推论过程牵涉到对褪色以及双时态概念的理解，需要80～90的智商（IQ）。」

Hinton警告，如果AI变得比人类聪明得多，就会掌握操纵人心的技巧，而人们根本不知道发生了什麽事。这就像在问一个2岁小孩，你要豌豆还是花椰菜，而小孩不会知道，其实他可以两种都不选。如果AI拥有操纵人心的能力，则即便无法亲自动手，也肯定有能力指挥人类做事。

Hinton还提到，AI是人所造，非进化而来，因此没有像人类一样的「固有目的」，例如人类非吃东西不可。但是他担心，如果有人为了达成其他目的，而给予AI自行设定子目的（Subgoal）的能力，则对于AI而言，得到更多的控制权，会是一个很好的子目的，因为这有助于达成其他目的。如果AI得到更多控制权并得意忘形，就会出现大麻烦。

AI发展已无法停止

当被问及所能够想像的最糟糕情景是什麽？Hinton的回答相当惊悚：「可以想像的是，人类只不过是智能在演化过程中的一个过渡阶段罢了。数码智能无法直接演化出来，因为这需要很庞大的能量与极其精细的制造。所以需要演化出生物智能来创造数码智能。数码智能先是缓慢吸收人们写下的一切，这就是ChatGPT现在在作的事，接着它就会有能力直接接触世界，并运作得更为快速。它也许会留着人类一段时间以保持发电厂运转，但之后可能就不会了。」

非营利组织Future of Life Institute在2023年3月发表公开信，呼吁所有AI实验室在往后至少半年内，暂停训练比OpenAI GPT-4模型更加强大的AI系统，迄今已有包括TeslaCEOElon Musk、苹果（Apple）共同创始人Steve Wozniak在内的上万人连署。不过，Hinton将这种移动斥为愚蠢，因为人类不会停止发展AI，AI太有用了。

也因此，即便担心AI可能会对人类的存在造成威胁，他也不同意停止对AI的研究，「这完全是不现实的。我认为，这关乎人类存在的风险已经足够接近，我们应该马上竭尽全力，投入大量资源来找出应对方法」，以确保即便AI变得比人类更聪明，也能以人类的福祉为依归。

非营利组织AI安全中心（CAIS）近期发布声明指出，「降低AI带来的灭绝风险，应该与其他整体社会等级的风险，如疫情与核子战争一般，成为全球性的优先事项」。前言提到，这份声明的目的，是要去克服公开讨论先进AI技术最严重风险的阻碍。而在连署人列表当中，第一个名字就是Geoffrey Hinton。可见，Hinton心心念念的，就是希望社会大众不避讳去讨论AI的风险。

Hinton坦承，如果他有良好而简单的解方，他就会去推动，但他没有，所以他要发声警告。科技业界领袖最了解AI，而政界也必须参与进来。因为AI会影响到所有人，所以所有人都必须好好思考。

是否后悔投入这个领域？Hinton表示，先前NYT记者采访时，很努力要让他坦承悔意，他最后说也许自己有一点后悔，然后就被报导成后悔了。不过，「回到70、80年代来看，投入人工神经网络的研究，是再合理不过的一件事。当时无法预见到技术会发展到今天这个地步。而直到最近，我也都还认为生存性危机是很遥远的事。因此，我确实一点都不后悔我所做的」。