Inquiet d'une infection contractée par son jeune enfant, un père de famille a envoyé des photos à un médecin. Deux jours plus tard, Google bloquait son compte et prévenait la police dans le cadre de la lutte contre la possession et le partage d'images pédopornographiques.

Les limites de l'intelligence artificielle. Un article du New York Times rapporte que l'IA de Google se montre un peu trop véhémente dans certaines situations, assimilant à de la pédopornographie des situations qui n'en sont pas. Un père de famille en a fait les frais après avoir pris des photos d'une infection à l'aine de son enfant afin de les envoyer au médecin.

Google a estimé que le contenu des photos était contraire à ses conditions d'utilisation et potentiellement illégal. Par conséquent, la firme américaine a fermé le compte Google de l'utilisateur concerné et a prévenu les autorités, déclenchant l'ouverture d'une enquête policière à son encontre.

La lutte contre la pédopornographie pose des problèmes d'interprétation à l'IA

Dans ce cas, c'est une infirmière qui avait demandé au père de famille d'envoyer les photos en amont d'une consultation vidéo, afin que le médecin puisse les analyser. Les faits remontent à février 2021, quand certains cabinets médicaux aux États-Unis ne prenaient plus de consultations en physique pour cause de COVID-19. Deux jours après la prise de photos, l'individu recevait une alerte de Google lui indiquant que son compte était verrouillé. Il a donc perdu l'accès à ses e-mails, à ses contacts, à ses photos… et même à son numéro de téléphone, car il était un client Google Fi, un service d'opérateur mobile virtuel exclusif aux États-Unis.

L'enquête de police a conclu après plusieurs mois que l'utilisateur n'avait commis aucun crime, mais la victime de la méprise a dû se résoudre à laisser les enquêteurs accéder à l'ensemble de ses données et contenus stockés avec Google. Les systèmes de surveillance mis en place par les GAFAM pour détecter les contenus illégaux sont fortement critiqués par les défenseurs de la vie privée. Récemment, Apple a mis de côté un système anti-pédopornographie controversé précédemment annoncé pour lui apporter des modifications.

Source : The New York Times