人脸识别再遇“紧箍咒”。当地时间10月6日,欧洲议会以377票赞成、248票反对、62票弃权的结果通过决议,要求执法机构在使用人工智能工具时,要采取强有力的保障措施,比如禁止警方在公共场所或边境检查中实行大规模人脸识别,禁止使用私域人脸识别数据库以及根据行为特征进行预测性监管等。
实际上,包括人脸识别在内的人工智能工具在警务活动中已经被应用了很长的时间。不过,直到近年来,其风险才被广泛重视,比如AI存在对少数民族、LGBT人群、老年人和女性的歧视等。欧洲议会许多议员认为,将存在算法偏见的AI技术大规模应用于执法领域,所带来的损害公民基本权利的风险,远远超过AI给破案带来的便利。因此,需要对其进行严格限制。
禁止用AI大规模监测人群,“不能假设所有人都危险”
这份决议主要是针对的是警察和司法机关在犯罪问题上对AI的使用。据欧洲议会官网消息,该决议主要内容可以总结为三项:第一,人工智能系统应该处在人类监督之下,算法应该是开放的;第二,禁止使用私域人脸识别数据库,基于行为数据进行预测性监管和公民评分;第三,生物识别不能被用于边境控制和公共空间。
欧洲议会表示,该决议的出发点是为打击歧视以及确保隐私权。“人工智能在执法领域的应用提供了巨大机遇,特别是能够有效打击金融犯罪如洗钱、恐怖主义融资,以及网络犯罪如虐待儿童等,有助于欧盟公民的安全保障。但同时,数据显示AI识别对少数民族、LGBT人群、老年人和女性的误识率更高,这可能对人们的基本权利构成重大风险。”该决议认为,鉴于AI在可靠性和准确性方面仍然存疑,任何以大规模监测为目的的AI全面应用,其风险和效果是不成比例的,也因此,在执法领域,对AI的使用必须始终保持人的责任,并首先以避免造成任何有害影响为目标。
该决议强调,当个人过度相信人工智能工具表面上客观和科学的性质,而没有考虑其结果不正确、不完整、无关或歧视性的可能性时,可能会产生严重的负面后果。因此,算法应该是透明的、可追溯的,并有充分的文件记录。而执法和司法机关应避免过度依赖人工智能系统提供的结果,并建立信心和知识,以质疑或推翻算法建议。
此外,该决议还反对执法机构利用人工智能,根据历史数据和过去的行为、群体成员、位置或任何其他此类特征,对个人或群体进行行为预测,从而试图识别可能犯罪的人,并呼吁永久禁止在公共场所进行生物识别,如步态、指纹、DNA、声音等特征和信号。
也就是说,该决议认为警察可以在确定嫌疑人目标的情况下,利用AI工具对嫌疑人进行追踪;但不能在嫌疑人未知时,用生物识别等AI手段对人群进行大规模监测,去寻找谁是嫌疑人,或者基于行为数据,预测“谁接下来可能会犯罪”。“当局在犯罪发生后做出反应,而不是假设所有人都是危险的。”
这一决议的影响还可能延伸至非欧盟国家。决议中强调,欧盟司法合作执行机构在处理其他国家的引渡请求时,有必要评估请求国使用人工智能工具“是否可能明显损害嫌疑人获得公平审判的基本权利”。
值得一提的是,决议条文中多使用的是呼吁、鼓励、强调等词汇,其实际效力如何仍有待观察。
AI在警务活动中已被长期应用,存在算法歧视现象
实际上,包括人脸识别在内的人工智能工具在警务活动中已经被应用了很长的时间,不过,直到近年来,其风险才被广泛重视。
据报道,早在本世纪初,美国佛罗里达州皮尼拉斯县警察局就开始使用人脸识别来破案,现在,该系统已经能够访问3000多万张图像。
2017年,英国南威尔士警方启动了一项人脸识别试验计划,在当年6月举行的欧冠决赛上,警方将观众与已有的50万张人脸图的数据库进行比对标识,结果系统共发出2470次警报,其中有2297次错误,173次正确,错误率高达92%。经过改进,南威尔士警方又在两次大型体育比赛中进行试验,最终将错误率降至87.5%。
尽管如此,在接下来的三年内,南威尔士警方仍在辖区内多地部署了人脸识别设备。该设备扫描路人的人脸并提取生物特征数据,再通过后台数据库比对来发现通缉犯等可疑人员。
近两年来,美国也已有至少三起诉讼,起因于警方使用人脸识别技术却抓错了人。第一起案例的当事人是来自底特律的罗伯特·威廉姆斯,底特律警方曾指控他犯有盗窃罪,将他拘留了30个小时。第二起案例当事人叫迈克尔·奥利弗,他同样来自底特律,因被人脸识别判定涉嫌盗窃罪被关了十天半。第三起案例当事人名为尼尔·帕克斯,他被40公里之外的伍德布里奇市警方认定为一起盗窃案的嫌疑人,拘留十天。然而,帕克斯表示自己有不在场证明,且他的指纹、DNA等信息与犯罪现场的信息并不匹配。
上述三起案例的当事人,均为黑人。算法出现的歧视问题,已经引起人们的注意。
麻省理工学院和美国国家标准与技术研究院(NIST)的研究显示,因为缺乏多元化的基础数据库,美国的许多人脸识别技术对有色人种的识别准确度较差。实际生活中,也发生了多起黑人遭遇算法歧视事件。此前,南都就曾报道Twitter的图像剪裁算法,会倾向于裁掉更多的黑人或女性;Facebook的自动推荐算法,也出现把黑人识别为“灵长类动物”的情况。
此次欧洲议会通过限制执法机构使用人工智能的决议,核心基础之一就是AI存在对少数民族、LGBT人群、老年人和女性的歧视。许多议员们认为,将存在算法偏见的AI技术大规模应用于执法领域,所带来的损害公民基本权利的风险,远远超过AI给破案带来的便利。因此,需要对其进行严格限制。
已有多地出台法规,对生物识别技术等进行监管。在美国,波特兰、奥克兰、旧金山、波士顿等城市都已禁止政府使用人脸识别技术。今年7月,纽约也出台法规,要求收集生物识别信息(如面部和指纹)的企业必须在门口张贴显眼的标识,向顾客说明企业正在收集顾客的生物识别信息,并禁止企业出售或交易生物识别信息。不过,该法规对包括警方在内的政府机构不适用。
欧盟对生物识别的监管更为严厉。今年4 月,欧盟提出一项旨在加强人工智能行业监管的草案,将人脸识别等远距离生物识别系统认定为“高风险”,并“原则上禁止”执法部门在公共场合使用这一技术,除非发生儿童失踪、恐怖袭击、甄别犯罪分子等情况。
在我国,对于人脸识别等人工智能技术的监管也日趋严格。8月20日立法通过的《个人信息保护法》就明确规定:在公共场所安装图像采集、个人身份识别设备,应当为维护公共安全所必需,遵守国家有关规定,并设置显著的提示标识。所收集的个人图像、身份识别信息只能用于维护公共安全的目的,不得用于其他目的;取得个人单独同意的除外。