AnTuTu lance enfin un nouvel outil pour comparer l'intelligence des IA. Baptisé AI Review, cette nouvelle application de benchmark conçue à partir des SDK des SoC Qualcomm Snapdragon et HiSilicon Kirin s'appuie sur des exercices de classification d'images et de reconnaissance d'objet. Elle devrait enfin permettre de comparer avec une précision scientifique des SoC dont les constructeurs exagèrent parfois les aptitudes en matière d'intelligence artificielle. Pour l'heure, néanmoins, AI Review ne permet pas de tester de manière fiable les SoC Exynos et Apple Axx. Voici comment télécharger l'APK. 

Ces dernières années, un nombre croissant de fondeurs et constructeurs de smartphones mettent en avant les capacités en termes d'intelligence artificielle de leurs produits. Avec des chiffres impressionnants sur le papier – mais souvent sans base réelle ou concrète pour réellement savoir quel est l'apport de tel ou tel SoC dans ce domaine ou les comparer. Alors que Geekbench et AnTuTu publient régulièrement des benchmarks permettant de comparer la puissance brute des smartphones, il n'existait jusqu'ici aucun moyen de mesurer les performances de l'intelligence artificielle de tel ou tel SoC. Car comme le souligne AnTuTu dans son post de blog, l'intelligence artificielle est un domaine très vaste. Avec des applications et implémentations différentes d'un constructeur à l'autre. Ainsi certains optent pour un Neural Processing Unit (NPU) dédié au machine learning. Quand d'autres confient cette tâche au DSP (normalement dédié au traitement du signal, en particulier pour améliorer les photos).

AnTuTu veut benchmarker les intelligences artificielles

Pour ne rien simplifier, l'intelligence artificielle proposée par les constructeurs se caractérise bien souvent par un mix entre silicone et logiciel. Pour permettre aux développeurs d'accéder à leur système d'intelligence artificielle, certains constructeurs fournissent des SDK (Software Development Kit, ou kit de développement logiciel, ndlr). Chez Qualcomm on parle du SNPE, chez MediaTek de NeuroPilot et chez HiSilicon de HiAI. HiSilicon ne donne qu'un accès partiel à son IA. Et deux acteurs majeurs ne proposent pas encore de SDK – Apple et Samsung. AnTuTu s'intéresse pour l'instant uniquement aux constructeurs qui proposent des SDK – pour les autres, l'application peut réaliser un benchmark à partir de TFLite, mais de l'aveu même de AnTuTu, les résultats ainsi obtenus ne sont pas fiables. Ainsi, pour l'instant, impossible de tester de manière 100% fiable les smartphones basés sur un SoC Exynos, les iPhones et les smartphones basés sur les SoC HiSilicon (Huawei et Honor).

Lire aussi : Galaxy S10 – Samsung se la joue Huawei avec une nouvelle puce dédiée à l'Intelligence Artificielle

Dans le détail, pour réaliser le benchmark, AnTuTu utilise en effet le SDK fourni par le constructeur pour injecter ses propres algorithmes de machine learning et données et tester la performance générale. Ainsi un premier test détermine la rapidité et la précision du système en terme de classement d'images (à partir d'un set de données de 200 images et via l'algorithme de classement Inception V3). Tandis qu'un second teste la reconnaissance d'objets à partir d'une vidéo de 600 images et de l'algorithme MobileNet SSD. Sont valorisés, on vous le disait la vitesse et la précision. Si la précision baisse au profit de la vitesse, le système de points d'AnTuTu applique une pénalité – une manière de décourager la manipulation des résultats par les constructeurs. L'application IA Review n'est pour l'instant pas disponible sur le Play Store ou l'App Store. Elle est uniquement compatible avec Android. Vous pouvez télécharger l'APK de l'application directement à partir du site d'AnTuTu :

TELECHARGEZ L'APK D'ANTUTU AI REVIEW

Pensez-vous que la méthode retenue par AnTuTu est la bonne ? Quels aspects de l'IA des smartphones pensez-vous que ce système de benchmark devrait aussi tester ? Partagez votre retour dans les commentaires.