AI kan raden hoe je bericht klinkt. Wat je echt voelt, weet het niet.

Ik bouw mee aan Subtext, een app die mensen helpt berichten te lezen en te bedenken hoe ze moeten antwoorden. Dus had ik een zelfzuchtige reden om door het onderzoek naar AI-toonherkenning te spitten: de benchmarks, de ACL-papers, de kritiek van psychologen, en de nieuwe EU-wet die een deel van dit vakgebied nu verbiedt.

De korte versie past in twee zinnen. De AI van vandaag is goed in voorspellen hoe een bericht op een lezer kan overkomen. Ze heeft geen betrouwbare manier om te weten wat de schrijver voelt. Alles hieronder is detail over de kloof tussen die twee zinnen.

Toonherkenning is vijf verschillende taken

De term klinkt als één functie. Onder de motorkap gaat het om aparte problemen die moeilijker worden naarmate je verder in het lijstje komt.

Sentiment is de makkelijke: is deze tekst positief, negatief of neutraal. Elke grote cloudaanbieder verkoopt het. Google’s API¹ geeft een score van min één tot plus één, samen met een magnitude voor de emotionele sterkte, Amazon Comprehend² sorteert tekst in positief, negatief, neutraal of gemengd, en Microsofts Azure-dienst³ voegt opinion mining op aspectniveau toe, zodat een zin als “de app is geweldig maar de support was slecht” correct wordt opgesplitst in plaats van tot pap gemiddeld.

Emotieherkenning is de volgende stap: boosheid, blijdschap, angst, verdriet en hun vele neefjes en nichtjes. Moeilijker, zoals de cijfers zo laten zien.

Interpersoonlijke toon is waar het je om gaat als je je huisbaas appt. Klinkt dit warm, direct, defensief, verwijtend. Onderzoekers modelleerden frustratie, formaliteit en beleefdheid in werkmail al in 2018⁴, en dat werkte redelijk goed omdat ze het als aparte dimensies behandelden in plaats van als één emotielabel.

Dan komen sarcasme en subtekst, die meer van context afhangen dan van woorden. Onderaan staat de innerlijke emotionele toestand van de schrijver, precies wat de meeste marketing suggereert en waar het onderzoek het minst bewijs voor heeft.

Dus als een productpagina zegt dat hij toon detecteert, is mijn eerste vraag welke van deze vijf hij bedoelt.

De nauwkeurigheidscijfers die nooit op de landingspagina komen

De referentiedataset voor fijnmazige emotie in tekst is Google’s GoEmotions⁵: 58.000 Reddit-reacties, met de hand gelabeld met 27 emoties plus neutraal, gepresenteerd op ACL in 2020. De BERT-baseline scoorde een macro F1 van 0,46 over de hele labelset. Later werk⁶ met sterkere modellen en datatrucs bracht dat naar ruwweg 0,49 tot 0,51. Jaren van vooruitgang, en de beste gespecialiseerde modellen missen nog steeds een groot deel van de fijnmazige labels.

Vraag een algemene chatbot om diezelfde sortering in 28 categorieën te doen, en zijn benchmarkscore zakt ver onder die van de fijngetunede kleine modellen, deels omdat modellen die vrij antwoorden labels buiten de taxonomie verzinnen en zich niet kalibreren op de drempels van de test. Wat vernietigend klinkt, tot je leert dat in één studie uit 2025⁷ menselijke beoordelaars vaak de labels van GPT-4 verkozen boven de officiële labels van de dataset. Soms is het model het oneens met de benchmark omdat de benchmark de zwakkere partij is.

Grove classificatie in positief versus negatief scoort over de hele linie veel hoger. De instorting gebeurt precies waar de interessante nuances zitten: ergernis versus boosheid, teleurstelling versus afkeuring.

Ook mensen zijn het onderling oneens over toon

Het onderdeel dat het hele onderwerp voor mij herkaderde, is wat er gebeurt als je de mensen zelf checkt. Het GoEmotions-paper rapporteert de overeenstemming tussen zijn eigen menselijke labelaars, en voor de meeste emoties ligt de Cohen’s kappa tussen ruwweg 0,1 en 0,5. Dankbaarheid is makkelijk, met 0,75. Verdriet komt uit op 0,09, bijna gelijk aan willekeurig labelen. Als getrainde mensen die dezelfde zin lezen het niet eens kunnen worden of die teleurstelling of afkeuring uitdrukt, dan drukt een model dat 0,46 scoort tegen diezelfde labels tegen het plafond van de taak zelf.

Het gaat dieper. Wiens gevoel meten we hier eigenlijk? Een dataset genaamd EmoBank⁸ annoteerde dezelfde zinnen twee keer, één keer vanuit het perspectief van de schrijver en één keer vanuit dat van de lezer, omdat dat twee verschillende variabelen blijken te zijn. Dezelfde onderzoekers ontdekten in 2017 dat annoteren vanuit het perspectief van de schrijver over de hele linie een betere kwaliteit opleverde. En de grote SemEval 2025-emotietaak⁹, die meer dan 30 talen uit zeven taalfamilies besloeg, mikt bewust op waargenomen emotie: wat een gewone lezer aan de tekst zou toeschrijven, expliciet niet wat de schrijver vanbinnen voelde.

De scherpste test kwam in 2025. Een ACL-studie¹⁰ liet auteurs hun eigen emoties labelen, en liet daarna buitenstaanders en LLM’s raden. Beide bleven achter bij wat de auteurs zelf rapporteerden, en de LLM’s versloegen de menselijke vreemden bijna over de hele linie. Beide helften van die uitkomst doen ertoe. AI is nu beter dan een willekeurig persoon in het lezen van jou aan de hand van tekst alleen, en kan nog steeds niet betrouwbaar reconstrueren wat je voelde.

Eén praktisch gevolg: een vergelijking uit 2023 in Heliyon¹¹ liet acht commerciële emotie-API’s los op dezelfde datasets en zag ze het onderling oneens zijn, met ranglijsten die per dataset verschoven. Elke leverancier die “95 procent nauwkeurige emotieherkenning” claimt zonder de labels, de data en de taal te noemen, citeert een getal dat het gewicht van die claim niet kan dragen.

Modellen halen hoge cijfers op emotietests en missen toch de persoon

Twee onderzoeksresultaten lijken tegenstrijdig tot je uit elkaar haalt wat ze precies meten.

In een studie uit 2025 in Communications Psychology¹² maakten zes modellen, waaronder ChatGPT-4, Gemini 1.5 Flash, Claude 3.5 Haiku en DeepSeek V3, vijf standaard tests voor emotionele intelligentie, het soort dat wordt gebruikt om mensen te beoordelen. De modellen scoorden gemiddeld 81 procent goed tegenover het menselijke gemiddelde van 56 procent uit de validatiestudies van die tests. In Nature Human Behaviour¹³ evenaarde of versloeg GPT-4 mensen op klassieke theory-of-mind-taken zoals het herkennen van valse overtuigingen en indirecte verzoeken, al struikelde het over het herkennen van sociale missers. En in JAMA Internal Medicine¹⁴ lazen bevoegde beoordelaars antwoorden op echte patiëntvragen en verkozen ze die van de chatbot boven die van de artsen in 78,6 procent van de gevallen, en beoordeelden ze die als 9,8 keer zo vaak empathisch. Eén kanttekening om te onthouden: de antwoorden van de chatbot telden gemiddeld 211 woorden tegenover 52 bij de artsen, en de voorkeur voor de chatbot kromp naarmate artsen langer schreven.

Ondertussen vindt EmoBench¹⁵, een benchmark die is gebouwd om emotioneel redeneren te vereisen in plaats van patroonherkenning, nog steeds een duidelijke kloof tussen modellen en de gemiddelde mens.

Beide bevindingen kunnen tegelijk waar zijn, omdat kennis over emoties en het kennen van iemands emotie twee verschillende vaardigheden zijn. Een model heeft meer gelezen over jaloezie, verdriet en ongemakkelijke excuses op de werkvloer dan welk levend mens dan ook. Wat het mist, is context over die ene persoon die dit specifieke bericht schreef.

Vier mensen kunnen dezelfde woorden typen: “Gefeliciteerd. Ik ben blij voor je.” De één meent het. De ander gunt het je niet. De derde is kapot vanbinnen en houdt zich groot. De vierde is sarcastisch. Elke versie is identiek op het scherm, dus geen enkel tekstmodel kan ze uit elkaar houden, en een vreemde van vlees en bloed ook niet. Die informatie leeft buiten de woorden.

Context doet het meeste werk

Neem het antwoord “Prima.”

Op zichzelf kan dat instemming zijn, teleurstelling, irritatie, onverschilligheid, of een deur die zachtjes dichtvalt. Zet het na “Je hebt de deadline al voor de derde keer verzet” en de lezing versmalt snel. Er veranderde niets aan het woord. De context wel.

Onderzoek naar sarcasme komt steeds bij dezelfde conclusie uit: zelfs mensen hebben vaak het omringende gesprek nodig om sarcastische bedoelingen op te pikken¹⁶¹⁷, en dat is waarom nieuwere evaluaties modellen testen op hele dialogen in plaats van losse zinnen. De praktische regel voor elk toon-tool volgt daar rechtstreeks uit. Geef het de hele draad mee, de relatie en de inzet. Eén bericht in isolatie beoordelen is het model vragen om beleefd te falen.

Toon is cultuurgebonden, en de meeste modellen zijn opgegroeid met Amerikaans Engels

Een benchmark uit 2025 genaamd BESSTIE¹⁸ testte modellen op sentiment en sarcasme in Australisch, Brits en Indiaas Engels. De prestaties waren consequent slechter op Indiaas Engels, met sarcasme als het lastigste geval, en modellen hadden moeite om te generaliseren van de ene variant naar de andere.

Dat resultaat komt overeen met alledaagse ervaring. “Kindly do the needful” leest de ene kant op in Indiaas zakelijk Engels en de andere kant op voor een model dat is gekalibreerd op Amerikaanse kantoornormen. Na 13 jaar in Berlijn kan ik de Duitse versie toevoegen: directheid die hier geldt als respect voor je tijd, kan door software die is grootgebracht met Amerikaanse beleefdheid als kil worden aangemerkt. Labels als bot, warm of te direct zijn culturele oordelen in een objectief jasje. Een toon-tool die negeert wie aan wie schrijft, en in welke cultuur, zal beide kanten met volle overtuiging verkeerd lezen.

Bij gezichtsherkenning raakte emotie-AI de weg kwijt

Alles hierboven gaat over tekst. De tak van deze industrie die gezichten scant, heeft een ruwer trackrecord, en dat bepaalt hoe toezichthouders nu de hele categorie behandelen.

In 2019 doken psycholoog Lisa Feldman Barrett en collega’s in meer dan duizend studies¹⁹ en concludeerden dat je niet betrouwbaar kunt afleiden hoe iemand zich voelt aan zijn gezichtsbewegingen. Mensen fronsen terwijl ze zich concentreren, glimlachen terwijl ze angstig zijn, en huilen op bruiloften. Datzelfde jaar liet een studie foto’s van 400 NBA-spelers door twee commerciële systemen lopen en ontdekte dat beide meer negatieve emotie aflazen bij de gezichten van zwarte spelers²⁰ dan bij die van witte spelers met vergelijkbare expressies.

De industrie merkte het op. Microsoft haalde emotie-inferentie uit zijn Face API²¹ in 2022. HireVue liet gezichtsanalyse vallen uit zijn wervingsassessments in 2021, nadat de digitale-rechtenorganisatie EPIC een klacht indiende bij de FTC²². Tekst-tools zijn een andere technologie, maar ze erven dit scepticisme, en ze verdienen het elke keer dat ze beweren innerlijke toestanden te lezen in plaats van bewoordingen.

De EU trok een grens, en tekst valt erbuiten

Sinds 2 februari 2025 verbiedt Artikel 5(1)(f)²³ van de EU AI Act AI die emoties van mensen afleidt op de werkvloer en op school, met smalle uitzonderingen voor medisch gebruik en veiligheidstoepassingen zoals het detecteren van vermoeidheid bij chauffeurs. Overtreding van deze verboden praktijken kan boetes opleveren tot 7 procent van de wereldwijde jaaromzet.

De reikwijdte is belangrijk voor iedereen die deze tools bouwt of gebruikt. Richtlijnen van de Europese Commissie koppelen het verbod aan biometrische data²⁴: gezichten, stemmen, toetsaanslagpatronen, lichaamshouding. Een systeem dat emoties afleidt uit geschreven tekst valt expliciet buiten het verbod²⁵. Analyseren hoe een e-mail kan overkomen is legaal. Een webcam op werknemers richten om hun stemming te scoren is verboden. Die grens volgt de wetenschap redelijk goed, en voor Subtext vertaalt het zich naar een ontwerpbeperking die we toch al zouden hebben gekozen: alleen tekst, geen biometrie, geen surveillance op de werkvloer.

Waar de tools van vandaag goed in zijn

Grammarly’s toondetector²⁶ is het duidelijkste consumentenvoorbeeld, en de framing ervan is stilletjes de eerlijkste in de markt. Hij analyseert woordkeuze, formulering, interpunctie en hoofdlettergebruik²⁶ om je te vertellen hoe je bericht vermoedelijk overkomt bij een lezer, verdeeld over meer dan 40 tonen. Vermoedelijk overkomt. Die formulering doet echt wetenschappelijk werk.

De cloud-API’s van Google, Amazon, Microsoft en IBM²⁷ zijn gebouwd voor volume: supporttickets, reviews, enquête-antwoorden. IBM haalde zijn losstaande Tone Analyzer in 2023 uit de lucht en voegde emotie samen met zijn bredere taalproduct. Dit zijn de juiste tools voor “hoe voelen klanten zich over onze afrekenflow” en de verkeerde tools voor “klinkt mijn tekst passief-agressief.”

Algemene LLM’s zijn de meest capabele optie voor persoonlijke berichten, omdat ze context kunnen gebruiken, meerdere tonen tegelijk aankunnen, en hun lezing kunnen toelichten. Ze zijn ook het slechtst gekalibreerd, dus behandel elk zekerheidspercentage als een vibe. Aan de spraakkant haalde Hume AI²⁸ in 2024 een Series B van 50 miljoen dollar op om vocale modulatie te meten, vooral zodat spraakinterfaces met een passend tempo en toon kunnen reageren. Een smaller gebruik, en een beter te verdedigen claim dan beweren dat je verborgen gevoelens detecteert.

Wat dit betekent voor Subtext

Het analyseert de berichten waar mensen het meest om geven: het appje van je baas, je date, je moeder. Het onderzoek maakt uit hoe dat zou moeten werken.

De output moet over perceptie gaan. “Dit kan overkomen als afwijzend” is een claim die het bewijs ondersteunt. “Ze is boos op je” is een claim die het niet ondersteunt, en de eerstepartij-studie van ACL is het bewijs daarvoor. We laten berichten ook meerdere tonen tegelijk dragen, omdat echte berichten dat ook doen. Warm en defensief is een normale combinatie, en de nieuwere benchmarks behandelen emotie precies daarom als multi-label.

Bewijs wint het van oordelen. Een nuttige tool wijst naar de woorden die een indruk creëren, zoals “zoals ik al heb uitgelegd” stiekem het zware werk doet in een gespannen e-mail, zodat jij kunt beslissen of die indruk is wat je wilt. Onzekerheid blijft ook zichtbaar. Als een bericht dubbelzinnig is, is die dubbelzinnigheid vaak de meest accurate bevinding, en het afronden naar een zelfverzekerd label zou nepprecisie zijn. Context komt eerst: we lezen liever de hele draad en vragen wie de ontvanger is, dan dat we een zin beoordelen die los in de ruimte zweeft, want dezelfde negen woorden betekenen iets anders voor een leidinggevende dan voor een situationship.

De eerlijke versie van deze categorie is kleiner dan de pitchdecks beloven en nuttiger dan de sceptici toegeven. Gedachten lezen blijft buiten bereik. Bewoording lezen kan vandaag al, en het meeste van de schade in geschreven communicatie begint daar sowieso. Dat voelde als reden genoeg om te bouwen.

---

Werk je aan een van deze tools en denk je dat ik jouw benchmark verkeerd heb gelezen? Laat het me weten op LinkedIn.

Samet Durgun is medeoprichter van Subtext, een app die de emotionele toon van je berichten oppikt en ze herschrijft in je eigen woorden. Hij woont in Berlijn.

---

Bronnen

Elke link hierboven verwijst naar de oorspronkelijke bron, waar die bestaat, genummerd in de volgorde waarin ze voorkomen. Twee bronnen staan zonder link omdat ik geen stabiele URL kon vinden, en de laatste twee zijn verdere leesstof in plaats van beweringen die hierboven gedaan worden.

1. Google Cloud. Natural Language API basics: sentiment score and magnitude.
2. AWS. Amazon Comprehend: sentiment analysis.
3. Microsoft. Azure Language: sentiment analysis and opinion mining.
4. Chhaya et al. (2018). Frustrated, Polite, or Formal: Quantifying Feelings and Tone in Email. PEOPLES Workshop, NAACL 2018.
5. Demszky et al. (2020). GoEmotions: A Dataset of Fine-Grained Emotions. ACL 2020.
6. Wang et al. (2024). Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning. arXiv.
7. Rethinking Emotion Annotations in the Era of Large Language Models (2025).
8. Buechel en Hahn (2017). EmoBank, een corpus geannoteerd vanuit zowel het perspectief van de schrijver als dat van de lezer, en “Readers vs. Writers vs. Texts,” Linguistic Annotation Workshop 2017.
9. Muhammad et al. (2025). SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Detection. SemEval 2025.
10. Li et al. (2025). Can Third Parties Read Our Emotions? ACL 2025.
11. Abu-Salih et al. (2023). Emotion detection of social data: APIs comparative study. Heliyon.
12. Schlegel, Sommer en Mortillaro (2025). Large language models are proficient in solving and creating emotional intelligence tests. Communications Psychology.
13. Strachan et al. (2024). Testing theory of mind in large language models and humans. Nature Human Behaviour.
14. Ayers et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine.
15. Sabour et al. (2024). EmoBench: Evaluating the Emotional Intelligence of Large Language Models. ACL 2024.
16. Feng et al. (2024). Affect Recognition in Conversations Using Large Language Models. SIGDIAL 2024.
17. Hazarika et al. (2018). CASCADE: Contextual Sarcasm Detection in Online Discussion Forums. COLING 2018.
18. Srirag et al. (2025). BESSTIE: A Benchmark for Sentiment and Sarcasm Classification for Varieties of English. Findings of ACL 2025.
19. Barrett et al. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest.
20. Rhue (2019). Racial Influence on Automated Perceptions of Emotions. SSRN-werkdocument.
21. Microsoft (2022). Framework for building AI systems responsibly, kondigt het einde aan van emotie-inferentie in de Face API.
22. EPIC. In re HireVue, FTC complaint (2019).
23. EU AI Act, Article 5: Prohibited AI Practices, van toepassing sinds 2 februari 2025.
24. Lewis Silkin (2025). Understanding the EU AI Act’s prohibited practices, on the Commission’s February 2025 guidelines.
25. Future of Privacy Forum (2026). Red Lines under the EU AI Act: the prohibition of emotion recognition in the workplace and education.
26. Grammarly. Productpagina van de toondetector en hoe de toondetector werkt.
27. IBM. Watson Natural Language Understanding.
28. Hume AI.
29. Northeastern University (2021). You can’t determine emotion from someone’s facial movements, and neither can AI.
30. The Guardian (2024). Are you 80% angry and 2% sad? Why “emotional AI” is fraught with problems.