Les écrans des PC sont vulnérables à un nouveau type d'attaque : des chercheurs montrent qu'il est possible d'extraire le signal vidéo à partir de l'enregistrement des signaux électromagnétiques qu'ils émettent via le micro. Autrement dit, il devient possible de voir ce qui s'affiche à l'écran, avec potentiellement des données très sensibles, en écoutant simplement le micro. Une attaque baptisée “Synesthesia” d'après la synesthésie, le phénomène neurologique dans lequel la perception de plusieurs sens se mélange.

Une équipe internationale de chercheurs de l'Université du Michigan, l'Université de Pennsylvanie, Cornell Tech, l'Université de Tel Aviv et l'Université de Columbia ont montré un nouveau type d'attaque surprenant : en analysant des fréquences bien précises captées par un micro, ils sont parvenus à reconstituer en partie le signal vidéo d'un écran LCD, et donc de déduire ce qui s'affiche. Pour parvenir à ce résultat pour le moins contre-intuitif, les chercheurs ont exploité plusieurs phénomènes, à savoir le fonctionnement (électromagnétique) des microphones, et les “fuites acoustiques provenant d'écrans LCD dépendantes du contenu”.

Comment le son enregistré via un micro trahit ce qui s'affiche sur l'écran d'un PC

Aussi incongrue cette technique puisse paraître, le fait d'analyser le “bruit” issu d'un PC pour en déduire des données n'est pas une nouveauté. L'un des co-inventeurs du chiffrement RSA avait par exemple montré dès 2013 que les ordinateurs émettent un bruit, qui, s'il est inaudible pour l'oreille humaine, n'en contient pas moins suffisamment d'information pour en déduire des clés de chiffrement sous certaines conditions. Ce “bruit” est en fait la conséquence  des rapides variations du champ électromagnétique induites par le fonctionnement de l'ordinateur et de ses différents périphériques.

La nouveauté, c'est que cet espionnage acoustique peut également trahir des données qui s'affichent à l'écran. Les écrans LCD, même si ils consomment très peu d'énergie, émettent tout de même le même genre de bruit électromagnétique. Pour interpréter ce son, il suffit de comprendre comment l'écran rend le signal, pixel par pixel et ligne par ligne à une fréquence déterminée. Dans leur exemple, les chercheurs se contentent de motifs simples – des rayures – et montrent que le signal change, et permet de déduire le type de motifs.

Ils expliquent : “nous avons créé un programme simple qui affiche des motifs de lignes noires et blanches horizontales d'épaisseur égale, que nous appellerons les ‘Zebres' [du nom des passages piétons en anglais, ndlr]”. A partir du son issu d'un écran Soyo DYLM2086 affichant ces motifs, les chercheurs ont pu montrer que la fréquence variait de façon prévisible. Jusqu'ici rien de bien menaçant, puisqu'en sortie, le signal ne trahit que l'intensité de lignes sur des motifs simples.

L'intelligence artificielle permet de déduire des informations incroyablement précises

Mais les chercheurs ne se sont pas arrêté là et ont entraîné une intelligence artificielle à reconnaitre des détails nettement plus précis. C'est là que les chercheurs se sont rendus compte qu'il était possible d'extraire des information beaucoup plus sensibles. En écoutant simplement le son issu d'un appel Google Hangouts, cette IA est parvenue à identifier une sélection des 10 premiers sites les plus visités au monde selon Alexa avec un taux de réussite ahurissant de 96,5%.

Dans une deuxième expérience, en interprétant le bruit émis par les ondes électromagnétiques d'une tablette en mode portrait, les chercheurs sont parvenus à reconnaître les touches du clavier virtuel qui étaient pressées avec une précision de 96,4%. En mode paysage, le taux de réussite chute néanmoins à 40,8%. Cependant, dans ce dernier cas le mot se trouvait dans le top 3 des suggestions dans 99,6% des cas, ce qui signifie qu'il restait possible d'en tirer des informations via une analyse humaine.

Ces enregistrements audio peuvent être capturés de différentes manières : par exemple pendant un appel sur Skype ou Hangouts, via des enregistrements issus de Google Home ou Alexa, ou alors via le micro intégré dans l'appareil, un simple enregistrement issu d'un smartphone à proximité, voire un micro parabolique qui permet de discrètement “écouter ce qu'affiche” l'appareil à une distance de 10 mètres.

Pour l'heure il est presque impossible de se prémunir contre ce genre d'attaque – qui n'est, néanmoins, clairement pas à la portée de tous. Les ordinateurs portables, tablettes, smartphones, et plus largement tous les appareils qui embarquent un micro sont les plus à risque. Mais comme les chercheurs l'on montré, même en absence de micro, il reste possible d'extraire ces données en mesurant d'autres choses, comme par exemple le potentiel électrique du châssis de l'appareil, ou les émissions radio qui fuient des câbles.