D'après nos confrères de BFM Business, une étude récente a mis en lumière les limites des intelligences artificielles (IA) lorsqu'il s'agit d'analyser les résultats financiers du CAC 40. Cette étude, menée par Charles-Henri d'Auvigny, managing partner de Réputation Age et ancien de la Fédération des investisseurs individuels, a évalué la fiabilité de trois modèles d'IA - ChatGPT, Gemini et Claude - dans leur capacité à restituer correctement les résultats financiers de 39 entreprises du CAC 40.

Le contexte de cette étude est particulièrement intéressant, car les IA sont de plus en plus utilisées comme un nouvel intermédiaire d'accès à l'information, y compris financière. Une part croissante des utilisateurs ne passe plus uniquement par les moteurs de recherche traditionnels, mais directement par des modèles comme ChatGPT, Gemini ou Claude pour obtenir des réponses synthétiques. Cela représente un enjeu majeur pour les entreprises et les sites d'informations financières, car ce basculement redéfinit les règles de visibilité : être cité dans une réponse générée par une IA devient désormais aussi stratégique que d’apparaître en tête des résultats Google.

Ce qu'il faut retenir

  • Les IA sont très peu fiables pour restituer correctement les résultats financiers du CAC 40 lorsqu’elles s’appuient uniquement sur leurs connaissances.
  • Les performances des IA s'améliorent nettement lorsqu'elles vont chercher et vérifier directement les données à la source, atteignant jusqu’à 80% de réponses exactes.
  • L'étude met en lumière un enjeu stratégique pour les entreprises, qui doivent adapter leur communication pour être correctement reprises par les IA.

Les résultats de l'étude

Les auteurs de l'étude ont demandé aux IA de restituer les résultats financiers de 39 entreprises du CAC 40 à partir de quatre indicateurs clés : chiffre d’affaires, résultat net, résultat d’exploitation et dette nette. Trois méthodes ont été testées, correspondant à trois niveaux d’usage de l’intelligence artificielle, allant de la plus simple à la plus avancée.

La première méthode, dite interrogation directe, correspond à l’usage classique de l’IA par le grand public. L’utilisateur pose une seule question globale - par exemple demander un tableau complet des résultats financiers - et l’IA répond en une fois, en s’appuyant uniquement sur ses connaissances internes. Elle ne va pas vérifier les informations en temps réel ni consulter de sources externes. Résultat : les performances sont très faibles. ChatGPT ne fournit aucune réponse exacte, tandis que Gemini et Claude atteignent à peine 13% et 7% de réponses correctes.

Les limites des IA

La deuxième approche repose sur une interrogation via un agent posant des questions successives. Concrètement, un programme pilote l’IA en découpant la demande en une série de questions plus précises : il interroge le modèle entreprise par entreprise et indicateur par indicateur, puis reconstitue progressivement le tableau final. Cette méthode améliore légèrement la structure des réponses, mais reste limitée sur le fond : l’IA continue de s’appuyer sur ses connaissances internes, sans véritable vérification. Les résultats restent donc très faibles, aucun modèle ne dépassant les 15% de bonnes réponses.

La troisième méthode, celle de l’agent automatisé allant chercher les données à la source, marque en revanche une rupture. L’IA est ici utilisée comme un outil connecté, capable d’aller consulter directement les publications officielles des entreprises, d’en extraire les données pertinentes et de les assembler. Elle ne « répond » plus seulement mais collecte, vérifie et structure l’information. Dans ce cas, les performances progressent fortement, avec jusqu’à 80% de réponses exactes pour Claude d'Anthropic.

Les enjeux pour les entreprises

Ces résultats soulignent l’importance stratégique pour les entreprises d’adapter leur visibilité auprès de ces nouveaux intermédiaires. Les modèles d’IA ne privilégient pas systématiquement les sources officielles et peuvent produire des réponses approximatives ou biaisées en allant chercher notamment des publications anciennes ou en extrapolant des résultats. Dans ce contexte, il ne suffit plus de publier des informations fiables : encore faut-il qu’elles soient correctement reprises par les IA.

Et maintenant ?

Les entreprises doivent désormais prendre en compte cette nouvelle réalité et adapter leur communication pour être correctement reprises par les IA. Cela nécessite une approche stratégique, visant à améliorer l’accessibilité de leurs informations auprès des IA, et à garantir que les données fournies sont exactes et à jour. Les prochaines étapes attendues incluront probablement le développement de nouvelles stratégies de communication et de visibilité pour les entreprises, ainsi que l’amélioration continue des capacités des IA à traiter et à restituer les informations financières.

En conclusion, cette étude met en lumière les limites actuelles des IA dans l’analyse des résultats financiers, mais également les possibilités offertes par ces outils lorsque ceux-ci sont utilisés de manière appropriée. Les entreprises et les investisseurs doivent être conscients de ces limites et de ces opportunités, et adapter leurs stratégies en conséquence.