Ce n’est pas la première fois qu’un acteur majeur de la téléphonie mobile se fait épingler pour avoir « bidonné » des résultats de benchmarks aussi connus qu’Antutu, Geekbench ou 3DMark. En revanche, il est plus rare que la triche soit mise en place -et à grande échelle- par un fabricant de puces pour smartphones… et plus encore qu’elle n’ait été découverte qu’au bout de plusieurs années ! C’est le lièvre qu’a soulevé Anandtech, un site d’information grand spécialiste du domaine. Au terme d’une enquête de plusieurs semaines, nos confrères américains ont mis en cause le taïwanais Medialek, qui fournit des SoC à bon nombre de constructeurs.
Un phénomène courant sur le marché du smartphone
En 2013, ils avaient déjà épinglé Samsung pour « l’optimisation » de ses Galaxy S4 équipés d’Exynos, afin qu’ils affichent de meilleures performances GPU. Plus récemment, Huawei avait du faire amende honorable après avoir été banni de 3Dmark.
La triche est donc monnaie courante dans le monde du smartphone. On sait qu’un benchmark ne sera jamais le parfait reflet d’une utilisation au quotidien, mais lorsqu’un nouvel appareil débarque sur le marché, le benchmark reste le meilleur moyen de savoir rapidement ce qu’il a dans le ventre.
Dans le cas présent, Anandtech a découvert le pot aux roses en testant deux versions de l’Oppo Reno 3. La première, destinée à l’Europe et équipée du processeur Helio P95, la seconde réservée à la Chine dotée du nouveau fleuron de Mediatek, le Dimensity 1000L.
Smartphones et des Benchmarks incriminés, selon l’enquête d’Anandtech
Le fait que le premier obtienne de meilleurs résultats sur PCMark que le second, aux caractéristiques pourtant bien supérieures, a mis la puce à l’oreille du testeur. Et bingo, il a découvert la présence d’un drôle de fichier dans le firmware du Helio P95, destiné à booster les performances globales du processeur lorsqu’il détecte certaines applications, notamment de benchmark. D’environ 30% -tout de même – dans le cas présent.
L’occasion pour Anandtech de se repencher sur les précédents tests de smartphones équipés Mediatek et de découvrir avec consternation que le phénomène remonte au moins à 2016, puisque le microprogramme incriminé est présent sur le Sony Xperia XA1 et sa puce Helio P20.
Simple optimisation ou véritable triche ?
Plusieurs marques sont concernées : Oppo, Vivo, mais aussi Xiaomi ou Sony, donc. Pour notre part, nous nous sommes repenchés sur les scores Antutu 8 du Realme C3 en cours de test chez 01net.com (et dans la liste d’Anandtech). Ce smartphone d’entrée de gamme et son processeur Mediatek Helio G70 (8 coeurs à 2 Ghz) obtiennent de meilleurs résultats qu’un milieu de gamme comme le Nokia 7.2 et son Snapdragon 660 (8 Coeurs à 2.2 GHz). Pas une preuve en soi, mais troublant tout de même.
Interrogé par Anandtech, Mediatek ne nie pas la présence de ces lignes de code, même s’il rejette toute idée de tricherie et se défausse (un peu) sur les constructeurs. En faisant fonctionner son processeur à plein régime pour qu’il obtienne les meilleurs résultats possibles -quitte à faire chauffer l’appareil et à réduire de façon draconienne son autonomie- Mediatek affirme se contenter de mettre en lumière ses performances maximales. On peut comprendre que l’entreprise, sursollicitée par les constructeurs, ait envie de faire une démonstration de la puissance pure de ses puces. Mais dans le cadre d’un usage quotidien, cette puissance est souvent bridée, chaque constructeur procédant à une optimisation du SoC, notamment pour préserver l’autonomie des mobiles. Et c’est bien là que le bât blesse. Car le benchmark n’est plus vraiment en phase avec la réalité d’un usage au quotidien. D’où la triche ?
Une chose est sûre, et nous sommes d’accord avec Anandtech sur ce point : voilà qui doit nous faire relativiser la valeur des benchmarks pour privilégier l’usage réel au quotidien d’un smartphone. Il est regrettable qu’un acteur comme Mediatek se soit compromis… pour plaire à certains constructeurs.