In een wereld waar artificiële intelligentie (AI) steeds meer binnendringt in de financiële sector, stellen institutionele beleggers zich logischerwijs de vraag: hoeveel weet ChatGPT eigenlijk over finance? Het antwoord is genuanceerder dan velen vermoeden.
Een recente studie (gepubliceerd in de Financial Analysts Journal) onderzocht meer dan 10.000 AI-antwoorden op officiële financiële examenvragen (SIE, Series 6, 7, 65, 66). De uitkomst? ChatGPT en andere large language models (LLM) tonen opmerkelijke potentie, maar kennen ook duidelijke beperkingen.
ChatGPT slaagt (bijna) voor het examen
Van de gratis toegankelijke modellen scoort ChatGPT3.5 ruim 63 procent correct op meerkeuzevragen – niet slecht, maar niet voldoende om op niet-menselijke experts te vertrouwen. ChatGPT4, de betaalde versie, doet het beduidend beter met 84,5 procent correcte antwoorden. Voor context: dit zijn instap-examens voor financiële professionals.
Maar niet alleen de juiste keuze telt. Onderzoekers evalueerden ook of het model zijn keuzes kon onderbouwen zoals een menselijk expert dat kan. Hier blinkt LLaMA uit met de hoogste semantische gelijkenis in uitleg, al presteert het minder op feitelijke juistheid. ChatGPT4 doet het opnieuw het best in de balans tussen accuraatheid en uitleg.
Taken uitvoeren
Belangrijker nog dan examenscores is de vertaalslag naar echte taken binnen een beleggingsorganisatie. Door examenvragen te koppelen aan 51 specifieke finance-taken, ontdekten de auteurs dat de kracht van AI-taalmodellen taakafhankelijk is, niet functie-specifiek.
Taken als de monitoring van markten of het uitleggen van beleggingsconcepten scoorden hoog in accuraatheid. Denk aan vragen als: ‘Wat gebeurt er met obligatieprijzen bij rentestijging?’ of ‘Wat is het verschil tussen ETF’s en beleggingsfondsen?’. Hier kan ChatGPT prima mee uit de voeten.
Bij complexere, context-gebonden opdrachten zoals het analyseren van klantprofielen of fiscale situaties blijft het model steken op menselijke-niveau, of is het slechter. Het risico van foutieve interpretatie is te groot om zonder controle AI in te zetten.
De rol van finetuning
Instellingen kunnen de prestaties van modellen verbeteren via finetuning, door het model te voeden met specifieke trainingsdata. Dit bleek de gelijkenis met menselijke uitleg aanzienlijk te verhogen, maar de feitelijke accuraatheid bleef afhankelijk van de vraagstelling en gebruikte parameters.
Toegang via API, met controle over parameters zoals randomness of verbosity, bleek essentieel. Hogere nauwkeurigheid vereist lagere toevalligheid en beknoptheid. Met andere woorden: wie ChatGPT als betrouwbare collega wil inschakelen, moet goed nadenken over hoe men het model inzet.
Betekenis voor institutionele beleggers
LLM’s bieden op korte termijn geen vervanging voor beleggingsprofessionals, maar wel een krachtige aanvulling. Denk aan toepassingen als:
- Snelle screening van veelgestelde vragen
- Eerste concepten voor beleggingsrapporten
- Educatieve ondersteuning voor junior medewerkers
- Samenvattingen van regelgeving of marktanalyse
Tegelijk waarschuwen de auteurs voor overhaast gebruik in klantinteractie, compliance-gerelateerde dossiers of strategieontwikkeling. Hier is menselijke controle geen luxe maar noodzaak.
Conclusie
ChatGPT is geen nieuwe Warren Buffett, maar ook geen simpele chatbot meer. Voor institutionele beleggers die bereid zijn om AI doordacht, taakgericht en onder supervisie in te zetten, ligt er een duidelijke meerwaarde. Wel geldt de waarschuwing om de grenzen van het model te kennen en kritisch te zijn waar en hoe het ingezet wordt. AI is geen vervanger van expertise – het is een toevoeging ervan.
Gertjan Verdickt is assistent professor in Finance bij de University of Auckland en columnist bij Investment Officer.