美一父亲拍摄的幼儿腹股沟感染照被Google AI标记为儿童性虐待材料

这一情况凸显了在潜在虐待和无辜照片成为用户数字图书馆的一部分后试图区分两者之间的复杂情况。

去年，当苹果宣布其儿童安全(Child Safety)计划时，人们对模糊哪些内容应被视为隐私的后果表示关切。作为该计划的一部分，苹果将在苹果设备上的图像上传到iCloud之前进行本地扫描，然后将这些图像跟NCMEC的已知CSAM哈希数据库进行匹配。如果发现足够多的匹配，人类管理员就会审查这些内容，如果内容包含CSAM则就会锁定用户的账户。

非营利性数字权利--组织电子前沿基金会(EFF)抨击了苹果的计划，称它可能会为用户的私人生活打开一个后门，“它代表了所有iCloud照片用户隐私的减少而不是改进”。

苹果最终搁置了存储图像扫描部分，但随着iOS 15.2的推出，它继续在家庭共享计划中推出了一个儿童账户的可选功能。如果父母选择加入，那么在孩子的账户上，信息应用会分析图像附件并确定照片是否包含裸体与此同时保持信息的端到端加密。如果检测到裸体，那么它将模糊图像、为孩子显示一个警告并向他们提供旨在帮助在线安全的资源。

《纽约时报》强调的主要事件发生在2021年2月，当时由于COVID-19大流行，一些医生办公室仍在关闭。正如《纽约时报》所指出的，Mark（他的姓氏未被透露）注意到他孩子的生殖器区域有肿胀，并在一名护士的要求下在视频咨询前发送了该问题的图像。医生最终开出了治愈感染的抗生素。

据《纽约时报》报道，马克在拍摄这些照片仅两天后就收到了Google的通知，称他的账户被锁定，原因是含有害内容，这被认为“严重违反了Google的政策，并可能是非法的”。

像许多互联网公司一样，包括Facebook、Twitter和Reddit，Google已经使用微软的PhotoDNA进行哈希匹配以扫描上传的图片并检测跟已知CSAM的匹配。

2018年，Google宣布推出其内容安全API人工智能工具包，它可以主动识别从未见过的CSAM图像以便对其进行审查，如果确认为CSAM则尽快删除并报告。它将该工具用于自己的服务，并跟YouTube工程师开发的视频目标CSAI Match哈希匹配解决方案一起，同时也提供给其他人使用。

一位Google发言人告诉《纽约时报》，Google只在用户采取肯定行动时扫描用户的个人图像，这显然包括将他们的照片备份到Google照片。该家媒体指出，当Google标记出剥削性图片时，那么联邦法律要求Google将潜在的犯罪者报告给NCMEC的CyberTipLine。2021年，Google向NCMEC的CyberTipLine报告了621,583起CSAM案件，而NCMEC向当局提醒了4260名潜在受害者，《纽约时报》称这个名单包括Mark的儿子。

据报道，Mark最终失去了对他的电子邮件、联系人、照片乃至他的电话号码的访问权--因为他使用Google Fi的移动服务。Mark立即试图对Google的决定提出上诉，但Google拒绝了他的请求。Mark居住的旧金山警察局则在2021年12月对马克展开了调查并掌握了他在Google存储的所有信息。《纽约时报》指出，负责此案的调查员最终发现，该事件不符合犯罪的要素且没有发生犯罪。

Google发言人Christa Muldoon在给The Verge的电子邮件声明中说道：“儿童性虐待材料(CSAM)是令人憎恶的，我们致力于防止它在我们的平台上传播。我们遵循美国法律来定义什么是CSAM并使用哈希匹配技术和人工智能的组合来识别它并从我们的平台上删除它。此外，我们的儿童安全专家团队审查标记的内容是否准确并跟儿科医生协商，以此来帮助确保我们能够识别用户可能寻求医疗建议的情况。”

虽然保护儿童免受虐待的重要性毋庸置疑，但批评者认为，扫描用户照片的做法不合理地侵犯了他们的隐私。EFF的技术项目主任Jon Callas在给《纽约时报》的一份声明中称Google的做法是侵入性的。“这正是我们都担心的恶梦。他们要扫描我的家庭相册，然后我就会遇到麻烦，”Callas这样跟《纽约时报》说道。