「一切皆服务」理想 AI三大原则奠定人类主导权

在此模型下，AI在过去70年来有许多突破，并在许多特定任务中已具备超越人类的能力。不过Stuart Russell明确表示，AI的目标为「通用AI」，也就是机器能快速学会人类能执行的所有任务，并表现良好。通用AI系统必然会在许多方面超越人类，而这是人类文明的转折点。

文明是人类智能的结晶，运用更高深的智能将可创造更好的文明，利用通用AI以更低价、更大规模的方式来完成目前已经有效执行的事务，这样的运用称之为「一切皆服务」或XaaS。

Stuart Russell认为，AI对人类的威胁重点在于能力而非意识，必须重新审视AI最根本的基础，也就是标准模型；当机器能透过行为来达成预期目标时，便具有智能。但问题在于，人类很多时候无法完全正确地指示目标。在标准模型和目标模糊双重效应下，AI系统似乎会产生更糟的结果。强大的AI系统会为了实现不正确的指定目标，将世界弄得更混乱，并有能力阻止人类干涉。如果制造更好的AI反而恶化问题，代表人们完全搞错方向。具体而言，让机器追求固定目标的想法行不通，必须设计出有能力追求不知道真正目标的AI系统，这将会是实现控制机器的关键点。这可用三个简单原则来说明。

第一，机器的唯一目标是最大化实现人类喜好。机器对人类必须完全利他、毫无私心，没有自身、甚至没有自我存续的目标。

第二，机器起初对于这些喜好并不确定；摒除错误假设，机器正在追求完全明确且固定目标，此原则赋予人类控制权。

第三，人类偏好的最终信息来源是人类行为，包括所做所说一切，以及不做的一切。此原则奠定了前两项原则所提到的喜好。

上述三个原则可转化成一个数学架构，称为「辅助赛局」（Assistance Game），因为总是有2个或更多的决策个体参与其中，至少有1个人类和1个机器人，而机器人期望的成果即是让人类于赛局中获得最大化成果，但只有人类知道那成果是什么。辅助赛局的关键特性在于，如果AI系统破解了赛局，那结果将被证明对人类有益。如果一切进展顺利，将很快成为所谓建构优良AI系统。

此外，赛局中的人类有动机教导机器人他们的喜好，而机器人会顺从人类，在执行任何计划之前，机器人会征求人类的同意，以防违反任何未知喜好。这样的结果在于机器将允许人类关闭系统，这是控制权的问题。

最后，假设已经解决控制权的问题，并发展出确实有益的通用AI系统，有一种可能会是人类对AI的日益依赖，导致人类变得虚弱。为此，未来的AI系统必须且将学会放手，如父母对待小孩般。

【时代30】Building a Better World在线大师论坛_Stuart Krusell

责任编辑：舒能翊