该系统的开发，使用了来自西米德兰兹郡数据库的约240万人的历史数据和来自西约克郡的110万人的历史数据，这些数据是从犯罪和羁押记录、情报报告和“国家警察”计算机数据库中提取的。
在英国，有一个被称为“最严重暴力”（简称MSV，即Most Serious Violence）的预测系统，这个预测系统归属于国家数据分析解决方案（NDAS）项目。
过去两年，内政部为NDAS提供了至少1000万英镑的资金，目的是创建可以在英格兰和威尔士使用的机器学习系统。
MSV工具的设计目的是预测人们在未来两年内是否会使用枪或者刀进行第一次暴力犯罪。西米德兰兹警察和西约克郡警察参与开发该工具，已与这两个警察队伍接触过的人都获得了风险评分。分数越高，他们越有可能犯下其中一种罪行。
该系统的开发，使用了来自西米德兰兹郡数据库的约240万人的历史数据和来自西约克郡的110万人的历史数据，这些数据是从犯罪和羁押记录、情报报告和“国家警察”计算机数据库中提取的。
警方承认，一款旨在提前预测枪支和刀具暴力事件的旗舰人工智能系统存在严重缺陷，致使其无法使用。该错误导致准确性大幅降低，并且该系统最终被所有审核其伦理问题的专家所拒绝。
当NDAS今年早些时候开始“运行”该系统时，问题出现了。
西米德兰兹郡的警察伦理委员会负责审查DNAS的工作以及警察自身的技术发展，该委员会公布的文件显示，该系统存在编码“缺陷”，无法准确预测暴力事件。NDAS在3月发表的简报中说：“在训练数据集的定义中发现了编码错误，这使得MSV当前的问题陈述不可行。”
NDAS的发言人表示，该错误是在开发过程中发现的数据摄入问题。目前还没有更多关于该缺陷的具体信息被披露。
NDAS的简报文件称：“根据现有数据，在一个人用枪或刀进行第一次MSV犯罪前，以任何精度来确定干预点都是不可行的。”
由于MSV的失败，警方已经停止开发目前形式的预测系统。它从来没有被用于警务行动，也没有达到可以使用它的阶段。但是，也有人质疑这一工具可能会偏向少数群体，以及它是否对维持治安有用。
准确度问题
在发现错误之前，NDAS声称其系统的准确率或精度水平，高达75%。
在西米德兰兹郡，在被认为极有可能使用枪支或刀具进行严重暴力的100人中，预计有54人会实施其中一种罪行。在西约克郡，预计100人中有74人使用枪支或刀实施严重暴力行为。
NDAS在7月表示：“我们现在知道实际的精度水平要低得多。”
萨里大学（the University of Surrey）法律和刑事司法的读者Melissa Hamilton说：“罕见事件要比普通事件难预测得多，”她目前主要关注警方使用的风险预测工具。Hamilton对出现准确性问题并不感到惊讶。
“尽管我们知道风险工具在不同的司法管辖区的表现不尽相同，但我从未见过差异幅度这么大的，尤其是在谈论同一个国家的时候。”Hamilton补充说，根据她所见过的其他系统，最初的估计似乎太高了。由于该缺陷，NDAS重新设计了其暴力预测系统，结果显示其预测精度显著下降。
对于使用枪或刀的严重暴力行为，西米德兰兹郡警方的精度降至14%到19%，西约克郡的精度降到9%到18%。无论这个人之前是否有过严重暴力行为，或者这是他们的第一次，这些比率也是相似的。NDAS发现，当删除其最初为系统定义的所有初始标准（首次犯罪、武器类型和武器使用）时，其重新设计的系统是最准确的。
简而言之，原始表现被夸大了。
偏见问题
但是，许多看过NDAS发布的简报和伦理委员会对暴力预测系统的审查的人说，准确性问题只是其中一个值得关注的领域。他们表示，所使用的数据类型最终可能会导致预测出现偏差，他们对预测警务技术的正常化表示担忧，并指出此类工具缺乏有效性的证据。
伦理委员会向负责预测系统的NDAS工作人员提出了许多问题，其中重申了许多观点。国际隐私 (Privacy International)的技术专家Nuno Guerreiro de Sousa表示：“该程序的核心问题已超出了准确性，把不准确性作为我们的论点是有问题的，因为技术缺陷是可以通过时间来解决的。”
“即使算法被设定为100%精确，这个系统仍然会存在偏差。”
暴力预测系统确定了“超过20个”指标，这些指标被认为可以用来判断一个人未来行为的危险程度，其中包括年龄、初次犯罪距今时间、所用数据中与他人的联系、这些犯罪的严重程度以及与这些犯罪相关的情报报告中提到“刀”的最大次数（不包括地点和种族数据）。
报告称，其中许多因素都经过了加权，以使最新数据更具普遍性。Rashida Richardson说，“许多指标已被证明在刑事司法系统的其他数据分析领域会导致不平等的结果。”他是罗格斯大学法学院(Rutgers Law School)的访问学者，他研究了预测警务中的数据问题。
“在一个系统中，由于年龄只是使用的指标之一，你更有可能将一群更年轻的人纳入其中，当你使用年龄时，通常会扭曲大多数预测或结果。”汉密尔顿对此表示赞同。她解释说，犯罪历史因素本身往往是有偏见的，这意味着，如果没有人类的干预，任何基于这些因素的算法都会包含同样的问题。
NDAS项目负责人Dale说:“我们监测偏见，不会主动采用包含偏见的模型。我们致力于确保任何此类模式的干预都是积极的，旨在减少犯罪和增加生活机会，而不是强制性或刑事司法结果。”
然而，用于决策的人工智能系统中存在偏见和潜在种族主义问题并不新鲜。就在本周，内政部暂停了其签证申请决策系统，该系统使用一个人的国籍作为其中一条信息，以决定移民状况，此前有人指控该系统包含“根深蒂固的种族主义”。
上月，在全球“黑人的命也是命”(Black Lives Matter)抗议活动爆发后，1400多名数学家签署了一封公开信，称该领域应停止开发预测性警务算法。Richardson说:“你看看大多数刑事司法部门使用预测分析的司法管辖区，我们没有证据表明这些类型的系统起作用，但它们的使用正在激增。”
提议遭否决
警方提出的推行这一系统的建议被一致拒绝。
伦理委员会在7月份拒绝了进一步开发该系统的提议后总结说：“关于这种模式如何改善当前防止青少年严重暴力的决策情况，目前尚无足够的信息。”该委员会是一个自愿组织，由来自不同领域的专家组成。
该委员会表示，它不理解为什么修正后的准确率有足够的分量，并对该预测系统将如何使用表示担忧。该组织在会议纪要中表示：“虽没有明确指出，委员会此前曾多次表达过这些担忧，因此，就该项目目前的情况而言，委员会建议该项目终止。”
与这篇报道接洽的委员会成员说，他们无权公开谈论这项工作。NDAS项目负责人Nick Dale说，该项目背后的人确实“同意该模型不能以目前的形式进行”，并指出到目前为止它还处于试验阶段。“假设我们确实能够创建一个合适的模型，但现在我们不能肯定地说，最终的模型会是什么样子。我们所有的工作都将受到伦理委员会的审查，其审议结果将予以公布。”
这些问题在暴力预测工具的开发中得到了强调。伦理委员会的文件显示，该委员会一名未披露姓名的成员表示，编码失败是对在警务内部使用人工智能和技术风险的“鲜明提醒”。
他们说，“在最坏的情况下，没有合理依据的预测犯罪，不准确的模型可能导致对人们的强制或其他制裁，尽管有明确的警告，这仍然可能损害年轻人或任何人的生活。但是，看到团队评估自己的工作并确定缺陷以重新开始，是一件好事。”
闪光点
尽管暴力预测系统存在缺陷，但审查过该系统的人表示，该系统的设置比其他预测性警务的发展更加透明。
“委员会的建议是透明的，稳健的和有力的。”Tom McNeil说，他是西米德兰兹郡警察和犯罪专员的战略顾问。伦理委员会目前询问一些紧迫的问题并得到答案，这在警务人工智能系统的开发中基本上是闻所未闻的。大部分开发工作通常是完全秘密进行的，问题只有在现实生活中影响到人们时才会出现。
Dale补充道:“MSV的主要价值在于测试开发这些警务技术的可能性，在这过程中，我们难以避免会因各种原因进行尝试，但我们有信心，随着我们的进步，我们正在开发的数据科学技术将为我们所有的社区带来更高效的警务和更好的结果。”
目前NDAS的看法是，在调查有可能实施严重暴力行为的人时，预测性暴力工具可以用来“扩充”警务人员所使用的现有决策程序。暴力预测工具只是NDAS正在研究的其中一个工具，它还使用机器学习来检测现代奴隶制、枪支的移动和各种有组织犯罪。伦敦大都会警察局局长Cressida Dick此前曾表示，警方应该考虑使用“增强型情报”，而不是完全依赖人工智能系统。
“某些事情可以通过计算来完成，并不一定意味着这样就是最好的做法，或者应该这样做。”温彻斯特大学(University of Winchester)信息权利中心(Centre for Information Rights)的联合主任Christine Rinik表示，“这就是为什么我认为对这些步骤提出质疑的程序如此有用。”
