Découvrez la nouvelle ère de l’IA : les 10 modèles linguistiques qui ont révolutionné le domaine en mai 2024
La performance des modèles de langage en 2024
Un nouveau leader a émergé dans le domaine de l’intelligence artificielle. Le modèle GPT-4o, lancé en mai 2024, a fait une entrée fracassante sur le marché selon la Chatbot Arena, une plateforme d’évaluation des modèles de langage. Cette plateforme, gérée par l’organisation Large Model Systems (LMSYS), est constituée d’étudiants et chercheurs de l’Université de Berkeley.
La Chatbot Arena base son évaluation sur les avis des utilisateurs qui sont invités à tester les modèles de langage sur la base de scénarios spécifiques. Avec plus d’un million de contributions recueillies, la plateforme offre un aperçu précieux des performances des modèles de langage. Le modèle GPT-4o s’est distingué par sa capacité à traiter nativement plusieurs formats et ses performances impressionnantes dans différents domaines tels que la vidéo et la voix.
Le classement des modèles de langage en mai 2024
Le GPT-4o a surpassé le GPT-4 Turbo, qui dominait le marché en avril 2024, ainsi que la version la plus récente du GPT-4. Le Gemini Pro, développé par Google, a maintenu sa position, tandis que les modèles de langage conçus par Anthropic, Claude 3 Opus et Claude 3 Sonnet ont perdu du terrain. Le modèle Llama 3, qui alimente Meta AI, est aussi en recul tandis que le modèle de langage Yi, développé par l’entreprise chinoise 01.AI, a fait son apparition.
- GPT-4o : 1287 (score Elo)
- GPT-4 Turbo : 1252
- GPT-4 1106 : 1250
- Gemini 1.5 Pro : 1248
- Claude 3 Opus : 1246
- GPT-4 0125 : 1244
- Yi Large : 1236
- Bard (Gemini Pro) : 1208
- Llama 3 : 1203
- Claude 3 Sonnet : 1199
Le système de notation de la Chatbot Arena
La Chatbot Arena utilise le système Elo pour hiérarchiser les modèles de langage. Ce système, couramment utilisé dans les compétitions d’échecs et d’e-sport, attribue à chaque modèle une cote basée sur ses performances par rapport aux autres modèles. Ainsi, si un modèle perd contre un adversaire avec une cote Elo inférieure, il perd des points, et inversement, s’il bat un modèle avec une cote Elo supérieure, il en gagne.
Ce système de notation s’adapte parfaitement à la situation où plusieurs modèles sont en compétition et où des duels sont organisés. Il offre ainsi une prédiction de l’issue des matchs basée sur la différence de cote entre les modèles.