2008 年金融危机初期，凯茜·奥尼尔(Cathy O’Neil)还在金融行业工作。她亲身体验了人们有多么信任算法，以及这造成了多大的破坏。
她沮丧地跳到科技行业，但她发现了类似的事情：从业者对定向广告和抵押贷款支持证券(MBS，Mortgage-Backed Security)风险评估模型抱有同样的盲目相信。所以她离开了。
“我不认为我们当时所做的事情是值得信赖的，”她说。
一种“身为同谋”的情绪，促使她撰写了一本有关大数据对社会造成负面影响的书。
这本书于 2016 年出版，打破了“算法是客观的”的主流观点，她用一个又一个例子揭示了算法如何加剧社会上的不平等。
凯茜说，在她的书出版之前，“人们并没有真正理解算法，他们不是预测，而是分类……这不是一个数学问题，而是一个政治问题，一个信任问题。”
凯茜试图证明许多算法都依赖历史数据进行训练和识别模式，并且还针对特定的“成功概念”进行优化：“像你这样的人在过去是成功的，所以(它)倾向于预测你在未来会成功。”或者“像你这样的人曾经是失败的，所以你未来也很可能是失败者。”
这似乎是一种明智的方法。但凯茜揭示了这些算法是如何以显著的、具有破坏性的方式崩溃的。
例如在监狱系统中，有的算法被设计用于预测犯人再次被捕的概率，这可能会导致不公平的结果，而且它通常针对有色人种、穷人、“瘾君子”、生活在糟糕社区的人、或者那些存在心理问题的人。
凯茜说：“对于监狱系统，我们从来没定义过何谓成功。我们只是在预测，然后未来继续重点关注一群人，因为这是我们过去的成功经验。
这非常令人难过，而且不幸的是，这还证明我们会将本应由社会承担的责任转移给受害者。”
渐渐地，凯茜开始认识到另一个加剧这些不平等的因素：羞耻感。
“某人做了本可选择不做的行为，而我们是不是会因此羞辱他?比如一些人的基因决定了他们更容易变胖，但每个饮食管理机构都会借此制造羞耻感。
你可以选择不上瘾吗?这件事比你想象的要难得多。你有机会解释自己了吗?许多人人微言轻，无法发声，但我们一直在利用这一点来羞辱他们。”
我近日与凯茜进行了一场对话，谈到了她的新书《羞辱机器：谁在羞辱的新时代获利》。这本书深入探讨了羞耻感在美国社会和文化中被“武器化”的许多方式，以及我们可能如何反击。
《麻省理工科技评论》：从算法到羞耻感，这是一个不小的跨越。你是如何将这两点联系起来的?
凯茜·奥尼尔：我研究了算法武器化背后的力量。它通常基于这样一种观点：你的学识不足以质疑算法背后的、科学的数学公式。这本身就是是一种羞辱。
这对我来说更明显，因为身为一个数学博士，还能有这种感觉，这让我很困惑。
糟糕的算法是一种对信任的违背，但这也是一种羞辱：你连问问题都不够资格。
以前我采访过一个朋友，她是一名校长，她手下的老师要接受纽约市老师价值增加模型的评估。
我问她能否拿到用于评估老师的具体公式，但她去询问时，不仅要递交一大堆申请，而且每次都有人告诉她：“这是数学——你不会理解的。”
《麻省理工科技评论》：在书中，你认为羞耻感是社会中一个巨大的结构性问题。你能展开说说一下吗?
凯茜·奥尼尔：羞耻是一种强有力的机制，它将一种系统性的不公正用来针对特定目标。有人可能会说，“这是你的错(对穷人或上瘾的人来说)”，或者“这(算法)超出了你的理解能力”，给人打上毫无价值的标签往往足以让人们自惭形秽、感到羞耻，然后不再问问题。
作为一个例子，我跟一个叫杜安·汤斯(Duane Townes)的犯人聊过一次，他曾二度被判入狱。在监狱里，他被要求在一身武装的狱警手下从事薪水微薄的体力工作，如果他有一丝的抱怨或者上厕所超过五分钟，狱警就会告知他的假释官。
这很丢人，他觉得自己没有被像人一样对待。不过这是一个特意设计的项目，为了培养正在服刑的人成为“好工人”。
这相当于麻痹他们的自我意识，让他们暂时出现无助感，无法捍卫自己的权利。
《麻省理工科技评论》：新冠疫情是否加剧了你在书中强调的问题?
凯茜·奥尼尔：疫情带来了更多的新规范和更快速的变化，包括戴口罩、保持社交距离和接种疫苗，所以从这个意义上说，它让羞耻感变得更普遍。
同样明显的是，在社交媒体和政治集团中诞生出的小团体，对这些变化和新规范有着截然不同的态度，这在线上和线下都引发了大规模的“羞耻之战”。
羞耻感让那些有些分歧的人远离彼此。换句话说，当整个社区缺乏信任时，羞耻感会加剧分裂：双方相互表达的愤怒和侮辱越多，人们之间的距离就越远。
2021 年，加州成为美国第一个向所有学生提供免费午餐的州，而这不仅仅是从经济上帮助弱势群体，也是在帮助他们减少长期以来承受(贫穷带来的)羞耻感。
《麻省理工科技评论》：我们该如何设计系统才能减少羞耻感呢?我们有办法利用羞耻感来进行社会改革吗?
凯茜·奥尼尔：这是一个很好的问题!我的建议是，使更多人有资格获得福利，或者为所有人提供普遍基础收入并减轻学生债务。
美国对穷人有着系统性地羞辱，穷人之间几乎不存在团结。
这几乎完全归功于让人们感到耻辱的一系列社会活动。如果我们没有能如此成功地塑造“羞耻感”的机器，穷人就会主动提出债务减免和普遍基础收入福利。
《麻省理工科技评论》：书中关于“网络羞耻感”的章节讨论了 Facebook、谷歌等公司是如何不断优化算法，以此引发人们之间的冲突的。这对他们有何好处?怎样才能抵消它呢?
凯茜·奥尼尔：这就是他们想要的结果!如果我们不因愤怒而去捍卫我们的价值感，然后通过浮夸的、破坏性的羞辱来得到点赞和转发，他们就不会赚得盆满钵满。
我希望我们开始把大型科技公司的操纵视作“让我们为他们免费工作”的活动。我们不应该这么做。我们应该瞄准更高的目标，而这就意味着要瞄准他们。
在个人层面上，如果可能的话，我们不要在社交媒体上相互攻击，甚至于抵制那些鼓励这种行为的平台。
在系统层面上，我们要坚持对平台的设计、算法进行审计，并且监控有毒内容。
这不是一个简单的建议。我们知道，脸书曾在 2018 年尝试过这样做，他们发现这是可行的，但没什么利润，所以他们放弃了。
《麻省理工科技评论》：你成立了 ORCA，一家算法审计公司。该公司都做哪些工作?
凯茜·奥尼尔：至少在我的公司，算法审计意味着提出一个问题：“这个算法系统忽视了谁?”被忽视的人可能是招聘算法下的大龄申请人，或者是人寿保险中的肥胖人群，或者是申请学生贷款的黑人。
我们必须定义我们所关心的结果，可能受到损害的利益相关者，以及何为公平。我们还需要确定算法何时越界的阈值。
《麻省理工科技评论》：那么，是否会有一个“好的”算法呢?
凯茜·奥尼尔：这取决于在哪个领域。在招聘领域，我认为是可以的，但如果我们没有定义好利益的结果，那么利益相关者就可能受到伤害。
最重要的是，(定义)公平的概念以及阈值。如果这些都没做好，那么我们可能最终只会得到一个没有意义的、规则被滥用的招聘算法。
而在司法系统中，犯罪数据的混乱是一个太棘手的问题，更不用说在“什么是成功的监禁”这件事上统一所有人的意见。