微软谷歌研究团队警告：在完全理解AI之前别滥用它

这里所谓的“黑箱”特性的 AI 技术及算法系统主要是指深入学习系统（Deep Learning），这是一个在Google、Facebook、Microsoft和Amazon等科技巨头之间流行的AI研究的子领域，它通过汇集数百万次的微小的计算来做出单一决策，例如在图像中识别一张人脸。

尽管人们对快速发展的人工智能抱有很大的预期，但是报告也指出了这一领域正面临巨大的挑战。正如我们的大脑的信号太过复杂，难以解释一样，深度学习算法的机制也是如此。而若是将这种尚不能完全解释的决策机制引入公共管理领域，则会带来大量的潜在风险。

例如在刑事司法中，非盈利媒体 ProPublica 的调查小组发现，法庭和执法部门用于预测刑事被告再犯的算法，可能对非裔美国人存在一定的偏见。这一现象随后被许多学者证实。在医疗保健领域，匹兹堡大学医学中心的研究发现，一种用于治疗肺炎患者的 AI 系统，缺失了一项对严重并发症的风险评估。在教育领域，美国得克萨斯州的评教算法系统被暴露出存在严重的缺陷，教师们也在与该系统对抗的诉讼中成功胜出--法官认定这些无法被解释的算法系统侵犯了美国宪法第十四修正案赋予美国公民程序正义的权力。

或许这些例子仅仅是一个开始，未来人类在人工智能实际应用领域还将面临更大的，来自法律、道德、制度等方面挑战。究其原因，皆因在目前的人工智能领域内，尚缺少标准化的测试模式和审核方法，AI决策也无法完全避免算法偏差，保障绝对的安全。在报告中，AI NOW就详细介绍了人工智能决策如何受到偏斜数据和设计架构的影响--而这些偏差最终都会被解释为人工智能算法的不可估量性而被忽略或掩盖。

AI NOW在报告中指出：“公共机构使用这些系统会引起人们对于这类法律程序是否正当、合规的担忧。这些系统至少要经历公共审计、测试及审查的过程，并符合相应的问责标准。”

而针对那些大力推崇人工智能算法的科技巨头也存在着同样的担忧。谷歌和Facebook，都在使用人工智能算法来决定用户在他们的网页上看到何种内容，鉴于这些网站庞大的访问量和用户基数，这使得它们也免不了的卷入了有关信息误导和媒介洗脑的社会论战。