Là Révolution de l’IA fonctionne depuis un certain temps maintenant, mais exécute les derniers modèles de langage comme lama.cpp sur votre vélo, nécessite de la puissance. C’est là qu’intervient Justine Tunneyhacker et ex-programmeur chez Google, qui vient de sortir de nouveaux noyaux dealgèbre linéaire pour augmenter les performances de lama.cpp.
Concrètement, elle a réécrit les routines qui font multiplications matriciellesc’est-à-dire les opérations au cœur des réseaux de neurones et en utilisant les dernières instructions vectorielles AVX-512 et ARM dotprod, il a réussi à multiplier la vitesse d’exécution par 5 sur les processeurs récents d’Intel, AMD et ARM.
Mais ce n’est pas tout, elle a également travaillé sur leoptimisation de la mémoire. Il est révolu le temps où les calculs étaient ralentis par les accès à la RAM. Grâce à l’utilisation intelligente du cache L2 et du prélecture, il est désormais capable de divisez le temps de chargement par 2 Des données.
En conséquence, llama.cpp et autres modèles compatibles fonctionnent comme sur des roulettes, même sur des configurations modestes. Pas plus Cœurs CUDA trop chers, un bon vieux processeur avec un peu de RAM suffit. De quoi démocratiser l’accès à l’IA sans se ruiner, d’autant que son code est disponible sur son GitHub. Il est écrit en C++ sans dépendance externe et peut être compilé sur Linux, macOS, Windows, FreeBSD et même SerenityOS.
Mais Justine ne compte pas s’arrêter là. Elle travaille déjà avec le soutien de nouveaux formats de données comme le FP16 et le BF16 pour réduire davantage l’empreinte mémoire. A terme, elle espère faire tourner les IA les plus exigeantes sur un Raspberry Pi ! Cool, non ?
D’un côté nous avons les géants comme Nvidia qui misent tout sur leurs accélérateurs graphiques propriétaires et de l’autre les hackers et bibliothécaires qui veulent garder le contrôle de leur machine avec du code ouvert et optimisé.
En attendant, je vous invite à tester ses noyaux par vous-même et à constater la différence. C’est peut-être là le vrai sens du progrès technologique : permettre au plus grand nombre d’accéder à des outils jusqu’alors réservés à une élite.
Source
