https://mp.weixin.qq.com/s/dXDLke1YnIZoi9j0Q5df-A
By 超神经
内容提要：近日，荷兰海牙法院审理了一起关于荷兰政府风险指示系统的案件。在最新的裁决中，法院下令立即停用福利欺诈检测工具 SyRI，因其侵犯个人隐私与人权规范，违反了《欧洲人权公约》。此项裁定结果在该领域是首例，它是否会为其他检测系统敲响警钟？
关键词：荷兰 福利欺诈检测 隐私
2019 年 10 月 29 日，荷兰海牙法院收到一纸诉状。这是由荷兰的多个组织以及个人对荷兰福利欺诈检测工具 SyRI（Systeem Risico Indicatie） 提起的诉讼。
2020 年 2 月 5 日，荷兰海牙法院下令，立即停止使用针对荷兰贫困社区的 SyRI 工具，因为它违反了隐私与人权准则，不符合《欧洲人权公约》第 8 条第 2 款的要求。
法院在裁定中表示，SyRI 侵犯隐私权
关于部署 SyRI 的相关法律也不具约束力
被勒令禁止的 SyRI 究竟为何物？
据介绍，荷兰政府的风险指示系统 SyRI，是荷兰社会事务和就业部在过去十年中，开发的一种风险计算模型，用于预测个人欺诈和滥用福利、津贴和税金行为的可能性。
SyRI 主要部署在低收入社区中，利用政府机构收集的大量个人敏感数据，例如就业、个人债务和福利记录，以及教育和住房历史，然后使用一种秘密算法对其进行分析，确定哪些人可能会有较高的福利欺诈风险。
简而言之，就是系统根据民政数据，来筛选潜在的诈骗犯。
SyRI 系统的部署引起很大争议
在 2019 年 10 月举行的听证会上，政府拒绝透露 SyRI 的工作原理，因为担心解释其风险计算算法后，系统会被欺诈者使用。
但是他们已经披露，系统会产生误报（即系统错误地将个人标记为欺诈风险）。政府表示他们会使用这些「误报」来纠正其模型中的缺陷。
当系统检测到某人有欺诈风险，就会通知相关政府机构，该机构可以对「嫌疑人」进行调查。值得注意的是，该系统所监控的人员信息列表，所有政府机构都可以查看。
该系统在勒令禁用前，曾被政府机构部署于鹿特丹
埃因霍温和哈勒姆等五个城市
过度监控隐私，引起众人不满
没想到，这个花费多年开发的风险检测系统，被告上了法庭。
2019 年 10 月 29 日，荷兰的六个组织（包括荷兰最大工会联盟 FNV 和 Privacy First）以及作家 Tommy Wieringa 和 Maxim Maximruru，对 SyRI 提起了诉讼。他们告诉法官，「这个系统太过分了，每个公民都无条件被怀疑。」
诉讼认为，SyRI 违反了数据保护法和人权准则
一个隐私和福利权团体联盟认为，SyRI 过度针对较贫穷的公民，而且是在没有嫌疑行为的情况下，这违反了人权规范。
法院在裁决书中指出，SyRI 系统违反了《欧洲人权公约》（ECHR）第 8 条第 2 款。根据该条款规定，公共机构不得干预私人和家庭生活、住所、通信等隐私。
法官认为，SyRI 系统没有充分正当的侵犯人们私生活的理由，因此是非法的。
最终，法院的裁定为，SyRI 法案中对侵犯隐私的保护措施不足，其运作方式「严重缺乏透明度」，并下令停止该系统的使用。
当然，荷兰政府也可以对该决定提出上诉。
此案为其他检测系统敲响警钟
在全球各国政府越来越多地使用人工智能和风险模型，来管理福利和其他金融服务的趋势下，该案对于因为此类技术所引起的法律争议，具有重要参考意义。
联合国极端贫困与人权问题特别报告员菲利普·阿尔斯顿（Philip Alston），十分赞赏这一裁决。他说：「对于所有关注 SyRI 系统对人权构成严重威胁的人来说，这是明显的胜利。」
Philip Alston 表示，贫困公民的隐私常常受到侵犯
必须进行深远控制和检查
他还指出，这是世界各地的法院中，首次以人权为由，停止福利机构使用数字技术和大量的数字信息。这为其他法院提供了参考，同时也为其他政界人士敲响了警钟，具有里程碑意义。
英国政府也正在加速福利体系中机器人的开发，对此，其下议院工作和养老金选择委员会主席斯蒂芬·蒂姆斯（Stephen Timms）表示：「荷兰法院的这项裁决表明，议会应该开始密切关注政府在社会保障体系中，使用技术来保护公民权利的方式。」
—— 完 ——
扫描二维码，加入 AI 讨论群
获得更多优质数据集
了解人工智能落地应用
关注顶会&论文
回复「读者」了解详情
更多精彩内容（点击图片阅读）