La gamme M4 : l'IA coté inférence/exécution

Anciens Mx en gris, M4 mesurés en bleu, estimé en bleu clair, la concurrence en rouge.Les IA vont probablement changer nos façons de travailler, d'échanger, d'utiliser un ordinateur quelqu'en soit la forme. Je crois beaucoup aux IA locales spécialisées sur nos Mac, PC et smartphones, bien moins aux IA ultra-massives dans le cloud qui veulent tout faire.Celles que proposent Microsoft avec Copilot+, Apple via Apple Intelligence version locale, Google, etc.J'ai repris les résultats de tests Geekbench 6 AI (ex Geekbench 6 ML), et ils sont étonnants pour certains, comme le M2 Ultra ou mon estimé (au doigt mouillé!) du M4 Ultra, les Snapdragon X, ou même les nVidia RTX 4000 que je n'ai pas intégrées.Je me suis focalisé sur les tests Quantized (Quantifiés) qui sont plus représentatifs d'un usage local avec une empreinte mémoire limitée sur une mini ou micro IA.On ne parle pas là de la phase d'apprentissage qui nécessite des matériels spécialisés ou pour le moins coûteux (M2 Ultra 128Go, RTX 4090 24 Go et autres joyeusetés).Apple Silicon M4C'est simple, quand Qualcomm et Microsoft se vantaient d'avoir créé les meilleurs PC pour exécuter localement une IA, c'était en fait Apple 2 ans auparavant avec les M2 non-égalés par les PC ARM de 2024, et les M4 sont au-dessus de la mêlée.Les performances en cas d'usage pratique sont excellentes, les 38 Tops promis effectivement utilisables, contrairement à...On notera que le M4 Ultra est estimé comme les autres bien qu'ayant 2 NPU et donc en théorie deux fois les performances des autres M4: la génération M2 a montré que macOS via CoreML n'utilise pas les deux NPU mais juste une seule, même sur les dernières versions de l'OS.C'est ballot!Qualcomm Snapdragon X75 Tops pour l'exécution d'IA, l'annonce a été fracassante, avec une seconde unité probablement plus polyvalente de 45 Tops, le support de Microsoft via Copilot+ et surtout en ne supportant pas les concurrents comme les dGPU nVidia ou AMD.Dans les faits, ces SoC qui devaient être deux fois plus rapides pour l'IA que les M4 sont deux fois plus lents, avec des contre-performances remarquables sur certains tests, tant en terme de vitesse qu'en terme de précision des résultats.Le test Machine Translation (traduction automatique) est catastrophique avec moins de 40% de précision tout en étant cacochyme!Ces SoC ont deux ans de retard sur les Apple M2 plus performants en pratique mais théoriquement moins puissants!Je pensais honnêtement que Qualcomm avait réussi son coup sur cet aspect, pour se projeter en avant et marquer une belle différence, les performances CPU étant médiocres en 2024 et leurs GPU pourries...Ça reste très probablement de bons PC pour l'IA si on ne joue pas et si on imprime pas!Intel Core Ultra 9 R285K24 cœurs et 285W, un monstre!Et plus lent qu'un M1 de 2020 dès qu'il s'agit d'IA.En prétendant délivrer 36 Tops soit le double, sur sa fiche technique Intel. Intel!Apple est certes en retard avec Apple Intelligence, mais là Intel semble aux abonnés absents, et pire se vante de performances qui ne sont pas là, et mérite que AMD et surtout Qualcomm lui prenne des parts de marché.nVidia RTX 4000Je n'ai pas intégré les scores des nVidia RTX 4000, qui sont proches des M2 quelque-soit le M2 ou la dGPU puisque chaque gamme utilise respectivement une seule et même NPU quelque soit le modèle considéré.C'est amplement suffisant pour les usages demandés en exécution d'IA locales, au-dessus des Snapdragon X, et Microsoft ne semble pas décidé à les intégrer dans Copilot+, ce qui est une honte absolue!La force des RTX n'est pas cette unité, c'est leur puissance de feu en fp32 où les hauts-de-gamme calculent bien plus vite en flottant fp16 et même fp32 via la GPU qu'en entier via la NPU intégrée!C'est ce que je conseillerais pour créer ou améliorer une micro ou mini IA de quelques milliards de weights (poids). C'est accessible aux amateurs et aux PME.ConclusionApple avait surpris en indiquant que Apple Intelligence serait supporté sur tous les Mac ARM, depuis le premier M1 équipant le MacBook Air 13' il y a 4 ans.On aurait pu se dire que ces machines étaient largués, avec leur NPU bien moins puissantes qu'aujourd'hui, quand en fait en usages réels répliqués par Geekbench 6 IA elles sont plus lentes mais pas si loin que ce qui était présenté il y a 2 mois comme les meilleurs PC pour l'IA!Il y a eu des évolutions matérielles pour rendre plus efficace les NPU des Mx sur les M2 puis M3, à performances théoriques identiques, pour dépasser dès le M2 d'il y a 2 ans les performances de ceux présentés aujourd'hui comme les meilleurs PC Copilot+!La génération M4 enfonce le clou, avec de meilleures performances théoriques mais aussi pratiques, en étant sur ce point deux fois plus performant que les Snapdragon X!Nos Mac Apple Silicon sont d'excellentes machines pour utiliser une IA en local, parmi les meilleures existantes et-ce dès la génération M2!