Dans un monde où l’intelligence artificielle (IA) envahit de plus en plus le secteur financier, les investisseurs se posent logiquement la question : quelles sont les connaissances de ChatGPT en matière de finance ? La réponse est plus nuancée que beaucoup ne le pensent.
Une étude récente publiée dans le Financial Analysts Journal a examiné plus de 10 000 réponses apportées par l’IA à des questions d’examens financiers officiels (SIE, séries 6, 7, 65, 66). Le résultat ? ChatGPT et d’autres large language models (LLM) présentent un potentiel remarquable, mais aussi des limites évidentes.
ChatGPT réussit (presque) son examen
Parmi les modèles librement accessibles, ChatGPT3.5 obtient plus de 63 % de réponses correctes aux questions à choix multiples – ce qui n’est pas mal, mais pas suffisant pour faire confiance aux experts non humains. ChatGPT4, la version payante, fait nettement mieux avec 84,5 % de réponses correctes. Pour rappel, il s’agit d’examens d’entrée pour les professionnels de la finance.
Mais il n’y a pas que le bon choix qui compte. Les chercheurs ont également évalué si le modèle pouvait justifier ses choix comme le ferait un expert humain. Ici, LLaMA excelle avec la plus grande similarité sémantique dans l’explication, bien qu’il soit moins performant sur l’exactitude des faits. ChatGPT4 est encore une fois le meilleur dans l’équilibre entre exactitude et explication.
Exécution des tâches
Plus encore que les notes obtenues aux examens, c’est la transposition des tâches réelles au sein d’un organisme d’investissement qui est importante. En associant des questions d’examen à 51 tâches financières spécifiques, les auteurs ont constaté que la puissance des modèles linguistiques d’IA est spécifique à une tâche, et non à une fonction.
Des tâches telles que le suivi des marchés ou l’explication de concepts d’investissement ont obtenu un taux de précision élevé. Pensez à des questions telles que : « Comment évoluent les prix des obligations lorsque les taux d’intérêt augmentent ? » ou « Quelle est la différence entre les ETF et les fonds d’investissement ? » ChatGPT peut très bien gérer ce type de question.
Dans les tâches plus complexes et spécifiques au contexte, telles que l’analyse des profils de clients ou des situations fiscales, le modèle est bloqué au niveau humain, voire pire. Le risque d’interprétation erronée est trop élevé pour déployer l’IA sans contrôle.
Le rôle du réglage fin
Les institutions peuvent améliorer les performances du modèle par un réglage fin, en alimentant le modèle avec des données d’entraînement spécifiques. On a constaté que cela augmentait considérablement la similitude avec les explications humaines, mais la précision réelle dépendait de la formulation de la question et des paramètres utilisés.
L’accès via l’API, avec le contrôle de paramètres tels que randomness ou verbosity, s’est révélé essentiel. Une plus grande précision nécessite de réduire la part d’aléatoire et de concision. En d’autres termes : ceux qui souhaitent utiliser ChatGPT en tant que collègue de confiance doivent réfléchir soigneusement à la manière de déployer le modèle.
Les implications pour les investisseurs institutionnels
Les LLM ne remplaceront pas les professionnels de l’investissement à court terme, mais ils constituent un complément puissant. Pensez à des applications telles que :
⦁ La sélection rapide des questions les plus fréquemment posées
⦁ Les premières versions des rapports d’investissement
⦁ Le soutien pédagogique aux collaborateurs débutants
⦁ Le résumé de réglementations ou d’analyses de marché
Parallèlement, les auteurs mettent en garde contre une utilisation hâtive dans les interactions avec les clients, les dossiers liés à la conformité ou l’élaboration de stratégies. Dans ces domaines, le contrôle humain n’est pas un luxe mais une nécessité.
Conclusion
ChatGPT n’est pas un nouveau Warren Buffett, mais ce n’est pas non plus un simple chatbot. Pour les investisseurs institutionnels désireux de déployer l’IA de manière réfléchie, orientée vers les tâches et supervisée, la valeur ajoutée est évidente. Toutefois, il convient de connaître les limites du modèle et de faire preuve d’esprit critique quant à l’endroit et à la manière dont il est déployé. L’IA ne remplace pas l’expertise, elle la complète.
Gertjan Verdickt est professeur assistant de finance à l’université d’Auckland et chroniqueur pour Investment Officer.