GenAI nouvelle génération : promesse tenue ?

Pendant des années, les experts en intelligence artificielle ont misé sur une règle simple : plus les modèles sont grands, plus ils sont performants. Cette théorie, connue sous le nom de lois de l'échelle, repose sur l'idée que l'augmentation de la taille des modèles, des données d'entraînement et de la puissance de calcul mènerait à des améliorations régulières et significatives. Mais les récents modèles de pointe développés par OpenAI, Google et Anthropic semblent remettre en question cette croyance.

Ce qui se passe vraiment

Les derniers modèles d'IA développés par les géants du secteur, comme Orion (OpenAI), Gemini (Google) et Claude 3.5 Opus (Anthropic), ont déçu les attentes. Bien qu'ils aient été conçus avec des architectures encore plus vastes, un volume de données massif et une puissance de calcul impressionnante, leurs performances ne sont pas à la hauteur des promesses.

• OpenAI : Son modèle Orion, en cours de développement, n'a montré que de faibles améliorations par rapport à GPT-4, bien qu'il bénéficie d’une approche sophistiquée d’inférence.

• Google : Les résultats attendus pour Gemini sont en retard, malgré des investissements considérables dans des données plus nombreuses et des infrastructures avancées.

• Anthropic : Le modèle Claude 3.5 Opus n’a pas atteint les performances anticipées. L’entreprise explore des approches comme l’amélioration des capacités spécifiques et des agents IA.

Comprendre les Lois de l’Échelle

Les lois de l'échelle sont issues d'une série d'études, dont un papier marquant de 2020. Voici les principes de base :

• Taille des modèles : Une augmentation de la taille des réseaux de neurones (par exemple, de 768 paramètres à 1,5 milliard) améliore leur performance, si des données suffisantes sont disponibles.

• Quantité de données : Une augmentation du volume de données (de 22 millions de mots à 23 milliards, par exemple) améliore également la performance, si le modèle est assez grand.

• Optimisation combinée : En combinant l'augmentation de la taille des modèles et des données, les performances augmentent de manière prévisible.

Cependant, des études plus récentes, comme le papier Chinchilla (2022), ont révélé que ces relations pourraient ne pas s'appliquer indéfiniment.

Pourquoi ces Modèles Déçoivent-ils ?

1. Retour sur investissement décroissant

Même avec des modèles plus massifs, les gains de performance diminuent. Par exemple, l'amélioration de GPT-3 à GPT-4 était substantielle, mais celle de GPT-4 à Orion est bien moindre.

2. Manque de données de haute qualité

Les modèles actuels exploitent déjà la majorité des données disponibles sur le web. Trouver de nouvelles sources de données fiables devient difficile. Des solutions comme les données synthétiques sont explorées, mais elles n'ont pas encore donné de résultats satisfaisants.

3. Coûts de développement en hausse

Le coût d'entraînement des modèles a explosé. Certains modèles coûtent aujourd'hui jusqu'à 100 millions de dollars, et ce chiffre pourrait atteindre plusieurs milliards dans les années à venir.

Comment les Géants Réagissent-ils ?

Les entreprises adoptent des approches différentes pour améliorer les performances de leurs modèles sans simplement les agrandir :

• Fine-tuning (ajustement précis) : Optimiser les modèles pour des cas spécifiques.

• Inférence avancée : Améliorer les résultats en utilisant des étapes supplémentaires lors de l’utilisation des modèles.

• Capacités agentiques : Rendre les modèles plus adaptatifs et dynamiques pour répondre à des besoins variés.

Ce que disent les Experts

Les opinions divergent sur l'avenir des lois de l'échelle :

• Dario Amodei (Anthropic) : "Chaque fois qu’on entraîne un nouveau modèle, on se demande si ce sera le moment où il n’y aura plus d’amélioration."

• Sam Altman (OpenAI) : "Il n’y a pas de mur infranchissable."

• Ilya Sutskever (OpenAI) : "L’ère des découvertes est de retour. Ce n’est pas juste une question de grandeur, mais de pertinence."

Pourquoi C'est Important ?

Les attentes autour des modèles d'IA étaient élevées, mais ces défis pourraient ralentir le rythme des progrès. Cela pousse les entreprises à se tourner vers des modèles plus économes, axés sur des applications spécifiques. Par ailleurs, l’intégration de nouvelles méthodes, comme l’utilisation des données synthétiques ou des workflows plus efficaces, laisse entrevoir de nouvelles opportunités.

Conclusion : Et Maintenant ?

Bien que la croissance exponentielle des performances semble ralentir, l'IA reste un domaine plein de promesses. Les prochains développements viseront probablement à maximiser l'efficacité des modèles tout en explorant des approches innovantes. Ce retour à une ère de découverte est peut-être une bénédiction déguisée, stimulant la créativité et l’innovation au-delà de la simple augmentation des tailles des modèles.