演算法管理与问责机制 制止大数据的傲慢与偏见

算法是能够成功进行预测的数学模式，并需要两大要素，一个是对于成功的定义，另一个则是历史数据。凑齐两大要素，就能训练算法，从过去的经验中找出成功的模式。然而，如何定义成功，以及如何运用历史数据，这两部分都可能出错。如，身在算法背后的管理者，具有权力来定义成功，但这很可能并不是被管理者所认定的成功。

Cathy O'Neil以自身为例，不但是算法数学家，也是经常替儿子准备食物的母亲，根据多次准备食物所累积的大数据分析后可得知，使用哪些方式就能让儿子吃下更多的蔬菜，这是其所定义的成功。然而被管理者所认定的成功很可能并不相同，因为儿子想吃更多巧克力。

算法对于成功的定义，通常有利于算法的管理者，但却未必有利于被管理者。同时，算法也可以对管理者与被管理者双方都有利。如Cathy O'Neil提到的私人医疗保险公司Optum，使用算法找出花了很多钱在复杂医疗问题上的人，并透过系统，帮助这些人避免不必要、互相冲突的手术，而保险公司也可以省钱。

但问题在于，Optum的算法对于成功的定义，是找出花了很多钱、且有复杂医疗问题的人，并让他们省钱。这就让原本就没有很多钱花在复杂医疗问题上的人，无法得到系统帮助。如此一来，原本就有钱的人可以更省钱，但弱势者却有更高的概率把钱花在不必要的手术上。

Optum发现问题后，修改了算法。这代表演算法可以改进，但要耗费更多资源与心力。

然而，很多使用算法的人并不愿意花费更多资源与心力，因而导致许多问题。例如因算法的不透明机制而遭到解雇的教师，或者被刷掉的面试者。有一名幸运的面试者找到其中的问题，又恰巧父亲是律师，因而提起诉讼，但更多的情况则是因算法获利的人隐身在数学模式的背后而免责。

Cathy O'Neil认为，企业应了解其中的问题与风险，避免使用有问题的算法。例如亚马逊（Amazon）就曾因为招募员工的算法过分偏重过往成功案例而导致性别歧视，最后不采用这项算法。

Cathy O'Neil主张算法要像医药品一样具备管理机制，由类似美国食品药品监督管理局（FDA）的机构审核后才可使用，而不是任由算法的管理者获得好处，却让算法的被管理者承受伤害。

Cathy O'Neil也特别提到社交软件的算法，刻意突出冲突与丑恶，以便于让用户更黏，但却造成严重社会对立。这也显示算法背后的管理者应该被管理与问责。

【时代30】Building a Better World在线大师论坛_Cathy O’Neil

责任编辑：舒能翊