AI kan raden hoe je bericht klinkt. Wat je echt voelt, weet het niet.

Ik bouw mee aan Subtext, een app die mensen helpt berichten te lezen en te bedenken hoe ze moeten antwoorden. Dus had ik een zelfzuchtige reden om door het onderzoek naar AI-toonherkenning te spitten: de benchmarks, de ACL-papers, de kritiek van psychologen, en de nieuwe EU-wet die een deel van dit vakgebied nu verbiedt. Weeg mijn belang daarnaar. Elke bewering hieronder linkt naar de bron, zodat je mijn lezing kunt controleren in plaats van erop te vertrouwen.

De AI van vandaag is goed in voorspellen hoe een bericht op een lezer kan overkomen. Ze heeft geen betrouwbare manier om te weten wat de schrijver voelt. Alles hieronder is detail over de kloof tussen die twee zinnen.

Toonherkenning is vijf verschillende taken

De term klinkt als één functie. Onder de motorkap gaat het om aparte problemen die moeilijker worden naarmate je verder in het lijstje komt.

Sentiment is de makkelijke. Die vraagt of een tekst positief, negatief of neutraal is. Elke grote cloudaanbieder verkoopt het. Google’s API¹ geeft een score van min één tot plus één, samen met een magnitude voor de emotionele sterkte, Amazon Comprehend² sorteert tekst in positief, negatief, neutraal of gemengd, en Microsofts Azure-dienst³ voegt opinion mining op aspectniveau toe, zodat een zin als “de app is geweldig maar de support was slecht” correct wordt opgesplitst in plaats van tot pap gemiddeld.

Emotieherkenning, de volgende stap, gaat over boosheid, blijdschap, angst, verdriet en hun vele neefjes en nichtjes. Moeilijker, zoals de cijfers zo laten zien.

Interpersoonlijke toon is waar het je om gaat als je je huisbaas appt. Klinkt dit warm, direct, defensief, verwijtend. Onderzoekers modelleerden frustratie, formaliteit en beleefdheid in werkmail al in 2018⁴, en dat werkte redelijk goed omdat ze het als aparte dimensies behandelden in plaats van als één emotielabel.

Dan komen sarcasme en subtekst, die meer van context afhangen dan van woorden. Onderaan staat de innerlijke emotionele toestand van de schrijver, precies wat de meeste marketing suggereert en waar het onderzoek het minst bewijs voor heeft.

Dus als een productpagina zegt dat hij toon detecteert, en de meeste tooncheckers checken je toon nooit, is mijn eerste vraag welke van deze vijf hij bedoelt. Subtext hoort in die derde categorie thuis, interpersoonlijke toon, die vraagt of een bericht warm, direct, defensief of verwijtend klinkt voor degene die het ontvangt. Dat is geen sentimentscore en ook geen bewering over iemands innerlijke gevoelens.

De nauwkeurigheidscijfers die nooit op de landingspagina komen

De referentiedataset voor fijnmazige emotie in tekst is Google’s GoEmotions⁵: 58.000 Reddit-reacties die het team van Demszky met de hand labelde met 27 emoties plus neutraal en presenteerde op ACL in 2020. De BERT-baseline scoorde een macro F1 van 0,46 over de hele labelset. Later werk⁶ met sterkere modellen en datatrucs bracht dat naar ruwweg 0,49 tot 0,51. Jaren van vooruitgang, en de beste gespecialiseerde modellen missen nog steeds een groot deel van de fijnmazige labels.

Vraag een algemene chatbot om diezelfde sortering in 28 categorieën te doen, en zijn benchmarkscore zakt ver onder die van de fijngetunede kleine modellen, deels omdat modellen die vrij antwoorden labels buiten de taxonomie verzinnen en zich niet kalibreren op de drempels van de test. Wat vernietigend klinkt, tot je leert dat in één studie uit 2025⁷ menselijke beoordelaars vaak de labels van GPT-4 verkozen boven de officiële labels van de dataset. Soms is het model het oneens met de benchmark omdat de benchmark de zwakkere partij is.

Grove classificatie in positief versus negatief scoort over de hele linie veel hoger. De instorting gebeurt precies waar de interessante nuances zitten, zoals ergernis versus boosheid of teleurstelling versus afkeuring.

Ook mensen zijn het onderling oneens over toon

Het onderdeel dat het hele onderwerp voor mij herkaderde, is wat er gebeurt als je de mensen zelf checkt. De bijlage van het GoEmotions-paper rapporteert de overeenstemming tussen zijn eigen menselijke labelaars, en voor de meeste emoties ligt de Cohen’s kappa tussen ruwweg 0,1 en 0,5. Dankbaarheid is makkelijk, met 0,75. Verdriet komt uit op 0,09, bijna gelijk aan willekeurig labelen. Als getrainde mensen die dezelfde zin lezen het niet eens kunnen worden of die teleurstelling of afkeuring uitdrukt, dan wordt een model dat 0,46 macro-F1 scoort tegen hun labels beoordeeld met een antwoordsleutel die precies op die plekken zacht is. Kappa en F1 meten verschillende dingen, dus het menselijke cijfer is geen hard plafond, maar het vertelt je dat een deel van wat het model mist bij de taak zelf hoort.

Cohen’s kappa, GoEmotions’ eigen menselijke labelaars Dankbaarheid: 0,75. Verdriet: 0,09, bijna gelijk aan willekeurig labelen.

Een kappa van 1,0 is volledige overeenstemming, 0 is toeval. Als getrainde mensen het niet eens kunnen worden of een zin teleurstelling of afkeuring is, dan wordt de 0,46 macro-F1 van een model beoordeeld met een antwoordsleutel die precies op die plekken zacht is.

Het gaat dieper. Wiens gevoel meten we hier eigenlijk? Een dataset genaamd EmoBank⁸ annoteerde dezelfde zinnen twee keer, één keer vanuit het perspectief van de schrijver en één keer vanuit dat van de lezer, omdat dat twee verschillende variabelen blijken te zijn. Dezelfde onderzoekers ontdekten in 2017 dat annoteren vanuit het perspectief van de schrijver over de hele linie een betere kwaliteit opleverde. En de grote SemEval 2025-emotietaak⁹, die meer dan 30 talen uit zeven taalfamilies besloeg, mikt bewust op waargenomen emotie, oftewel wat een gewone lezer aan de tekst zou toeschrijven en expliciet niet wat de schrijver vanbinnen voelde.

De scherpste test kwam in 2025. Een ACL-studie¹⁰ liet auteurs hun eigen emoties labelen, en liet daarna buitenstaanders en LLM’s raden. Beide bleven achter bij wat de auteurs zelf rapporteerden, en de LLM’s versloegen de menselijke vreemden bijna over de hele linie. Beide helften van die uitkomst doen ertoe. AI is nu beter dan een willekeurig persoon in het lezen van jou aan de hand van tekst alleen, en kan nog steeds niet betrouwbaar reconstrueren wat je voelde. Subtext is gebouwd voor de helft van die bevinding die overeind blijft. Het leest hoe je bericht waarschijnlijk overkomt, niet wat je voelde toen je het schreef.

Eén praktisch gevolg blijkt uit een vergelijking uit 2023 in Heliyon¹¹, die acht commerciële emotie-API’s op dezelfde datasets losliet en zag dat ze het onderling oneens waren, met ranglijsten die per dataset verschoven. Elke leverancier die “95 procent nauwkeurige emotieherkenning” claimt zonder de labels, de data en de taal te noemen, citeert een getal dat het gewicht van die claim niet kan dragen.

Modellen halen hoge cijfers op emotietests en missen toch de persoon

Twee onderzoeksresultaten lijken tegenstrijdig tot je uit elkaar haalt wat ze precies meten.

In een studie uit 2025 in Communications Psychology¹² maakten zes modellen, waaronder ChatGPT-4, Gemini 1.5 Flash, Claude 3.5 Haiku en DeepSeek V3, vijf standaard tests voor emotionele intelligentie, het soort dat wordt gebruikt om mensen te beoordelen. De modellen scoorden gemiddeld 81 procent goed tegenover het menselijke gemiddelde van 56 procent uit de validatiestudies van die tests. In Nature Human Behaviour¹³ evenaarde of versloeg GPT-4 mensen op klassieke theory-of-mind-taken zoals het herkennen van valse overtuigingen en indirecte verzoeken, al struikelde het over het herkennen van sociale missers. En in JAMA Internal Medicine¹⁴ lazen bevoegde beoordelaars antwoorden op echte patiëntvragen en verkozen ze die van de chatbot boven die van de artsen in 78,6 procent van de gevallen, en beoordeelden ze die als 9,8 keer zo vaak empathisch. Eén kanttekening houd ik in gedachten. De antwoorden van de chatbot telden gemiddeld 211 woorden tegenover 52 bij de artsen, en de voorkeur voor de chatbot kromp naarmate artsen langer schreven. Voor mensen is of emotionele intelligentie echt uitspeelt op het werk een andere vraag.

Ondertussen vindt EmoBench¹⁵, een benchmark die is gebouwd om emotioneel redeneren te vereisen in plaats van patroonherkenning, nog steeds een duidelijke kloof tussen modellen en de gemiddelde mens.

Beide bevindingen kunnen tegelijk waar zijn, omdat kennis over emoties en het kennen van iemands emotie twee verschillende vaardigheden zijn. Een model heeft meer gelezen over jaloezie, verdriet en ongemakkelijke excuses op de werkvloer dan welk levend mens dan ook. Wat het mist, is context over die ene persoon die dit specifieke bericht schreef.

Vier mensen kunnen dezelfde woorden typen: “Gefeliciteerd. Ik ben blij voor je.” De één meent het. De ander gunt het je niet. De derde is kapot vanbinnen en houdt zich groot. De vierde is sarcastisch. Elke versie is identiek op het scherm, dus geen enkel tekstmodel kan ze uit elkaar houden, en een vreemde van vlees en bloed ook niet. Die informatie leeft buiten de woorden.

Context doet het meeste werk

Neem het antwoord “Prima.”

Op zichzelf kan dat instemming zijn, teleurstelling, irritatie, onverschilligheid, of een deur die zachtjes dichtvalt. Zet het na “Je hebt de deadline al voor de derde keer verzet” en de lezing versmalt snel. Er veranderde niets aan het woord. De context wel.

Onderzoek naar sarcasme komt steeds bij dezelfde conclusie uit, namelijk dat zelfs mensen vaak het omringende gesprek nodig hebben om te zien of een bericht sarcastisch is¹⁶¹⁷, en dat is waarom nieuwere evaluaties modellen testen op hele dialogen in plaats van losse zinnen. De praktische regel die ik daaruit trek voor elk toon-tool volgt rechtstreeks. Geef het de hele draad mee, de relatie en de inzet. Eén bericht in isolatie beoordelen is het model vragen om beleefd te falen. Dit is ook waarom Subtext de hele thread neemt in plaats van één regel, omdat het meeste van het lezen in de context zit, niet in de woorden die gelezen worden.

Toon is cultuurgebonden, en de meeste modellen zijn opgegroeid met Amerikaans Engels

Een benchmark uit 2025 genaamd BESSTIE¹⁸ testte modellen op sentiment en sarcasme in Australisch, Brits en Indiaas Engels. De prestaties waren consequent slechter op Indiaas Engels, met sarcasme als het lastigste geval, en modellen hadden moeite om te generaliseren van de ene variant naar de andere.

Dat resultaat komt overeen met alledaagse ervaring. “Kindly do the needful” leest de ene kant op in Indiaas zakelijk Engels en de andere kant op voor een model dat is gekalibreerd op Amerikaanse kantoornormen. Na 13 jaar in Berlijn kan ik de Duitse versie toevoegen. Directheid die hier geldt als respect voor je tijd, kan door software die is grootgebracht met Amerikaanse beleefdheid als kil worden aangemerkt. Labels als bot, warm of te direct zijn culturele oordelen in een objectief jasje. Een toon-tool die negeert wie aan wie schrijft, en in welke cultuur, zal beide kanten met volle overtuiging verkeerd lezen.

Een verwante vertekening duikt op bij contentmoderatie, een andere taak dan sentimentscoring. Sap en collega’s onderzochten veelgebruikte datasets voor haatzaaien¹⁹ en ontdekten dat tweets geschreven in African American English, ook wel African American Vernacular English of AAVE genoemd, tot twee keer zo vaak als aanstootgevend werden gelabeld door getrainde classifiers dan vergelijkbare tweets in andere varianten, zonder dat de annotators ooit zagen wie de tweet had geschreven. De kloof zit in de toxiciteitsclassifier, niet in de sentimentclassifier, dus een benchmark als BESSTIE zou hem niet aan het licht brengen. Een moderatiesysteem dat op die data getraind is, markeert alledaagse AAVE-formuleringen vaker als aanstootgevend dan dezelfde boodschap in een andere bewoording.

Bij gezichtsherkenning raakte emotie-AI de weg kwijt

Alles hierboven gaat over tekst. De tak van deze industrie die gezichten scant, heeft een ruwer trackrecord, en dat bepaalt hoe toezichthouders nu de hele categorie behandelen.

In 2019 doken psycholoog Lisa Feldman Barrett en collega’s in meer dan duizend studies²⁰ en concludeerden dat je niet betrouwbaar kunt afleiden hoe iemand zich voelt aan zijn gezichtsbewegingen. Mensen fronsen terwijl ze zich concentreren, glimlachen terwijl ze angstig zijn, en huilen op bruiloften. Datzelfde jaar liet een studie foto’s van 400 NBA-spelers door twee commerciële systemen lopen en ontdekte dat beide meer negatieve emotie aflazen bij de gezichten van zwarte spelers²¹ dan bij die van witte spelers met vergelijkbare expressies.

De industrie merkte het op. Microsoft haalde emotie-inferentie uit zijn Face API²² in 2022. HireVue liet gezichtsanalyse vallen uit zijn wervingsassessments in 2021, nadat de digitale-rechtenorganisatie EPIC een klacht indiende bij de FTC²³. Tekst-tools zijn een andere technologie, maar ze erven dit scepticisme, en ze verdienen het elke keer dat ze beweren innerlijke toestanden te lezen in plaats van bewoordingen.

De EU trok een grens, en tekst valt erbuiten

Sinds 2 februari 2025 verbiedt Artikel 5(1)(f)²⁴ van de EU AI Act AI die emoties van mensen afleidt op de werkvloer en op school, met smalle uitzonderingen voor medisch gebruik en veiligheidstoepassingen zoals het detecteren van vermoeidheid bij chauffeurs. Overtreding van deze verboden praktijken kan boetes opleveren tot 7 procent van de wereldwijde jaaromzet.

De reikwijdte is belangrijk voor iedereen die deze tools bouwt of gebruikt. Richtlijnen van de Europese Commissie koppelen het verbod aan biometrische data²⁵: gezichten, stemmen, toetsaanslagpatronen, lichaamshouding. Een systeem dat emoties afleidt uit geschreven tekst valt expliciet buiten het verbod²⁶. Analyseren hoe een e-mail kan overkomen is legaal. Een webcam op werknemers richten om hun stemming te scoren is verboden. Die grens volgt de wetenschap redelijk goed, en voor Subtext vertaalt het zich naar een ontwerpbeperking die we toch al zouden hebben gekozen: alleen tekst, geen biometrie, geen surveillance op de werkvloer.

Waar de tools van vandaag goed in zijn

Grammarly’s toondetector²⁷ is het duidelijkste consumentenvoorbeeld, en de framing ervan is de meest directe in de markt. Hij analyseert woordkeuze, formulering, interpunctie en hoofdlettergebruik²⁷ om je te vertellen hoe je bericht vermoedelijk overkomt bij een lezer, verdeeld over meer dan 40 tonen. Vermoedelijk overkomt. Die formulering doet echt wetenschappelijk werk.

De cloud-API’s van Google, Amazon, Microsoft en IBM²⁸ zijn gebouwd om supporttickets, reviews en enquête-antwoorden op grote schaal te verwerken. IBM haalde zijn losstaande Tone Analyzer in 2023 uit de lucht en voegde emotie samen met zijn bredere taalproduct. Dit zijn de juiste tools voor “hoe voelen klanten zich over onze afrekenflow” en de verkeerde tools voor “klinkt mijn tekst passief-agressief.”

Algemene LLM’s zijn de meest capabele optie voor persoonlijke berichten, omdat ze context kunnen gebruiken, meerdere tonen tegelijk aankunnen, en hun lezing kunnen toelichten. Ze zijn ook het slechtst gekalibreerd, dus behandel elk zekerheidspercentage als een vibe. Aan de spraakkant haalde Hume AI²⁹ in 2024 een Series B van 50 miljoen dollar op om vocale modulatie te meten, vooral zodat spraakinterfaces met een passend tempo en toon kunnen reageren. Een smaller gebruik, en een beter te verdedigen claim dan beweren dat je verborgen gevoelens detecteert.

Wat dit betekent voor Subtext

Subtext analyseert de berichten waar mensen het meest om geven, zoals het appje van je baas, je date of je moeder. Ik laat het onderzoek uitmaken hoe dat zou moeten werken.

De output moet over perceptie gaan. “Dit kan overkomen als afwijzend” is een claim die het bewijs ondersteunt. “Ze is boos op je” is een claim die het niet ondersteunt, en de eerstepartij-studie van ACL is het bewijs daarvoor. We laten berichten ook meerdere tonen tegelijk dragen, omdat echte berichten dat ook doen. Warm en defensief is een normale combinatie, en de nieuwere benchmarks behandelen emotie precies daarom als multi-label.

Bewijs wint het van oordelen. Een nuttige tool wijst naar de woorden die een indruk creëren, zoals “zoals ik al heb uitgelegd” stiekem het zware werk doet in een gespannen e-mail, zodat jij kunt beslissen of die indruk is wat je wilt. Onzekerheid blijft ook zichtbaar. Als een bericht dubbelzinnig is, is die dubbelzinnigheid vaak de meest accurate bevinding, en het afronden naar een zelfverzekerd label zou nepprecisie zijn. Context komt eerst. We lezen liever de hele draad en vragen wie de ontvanger is, dan dat we een zin beoordelen die los in de ruimte zweeft, want dezelfde negen woorden betekenen iets anders voor een leidinggevende dan voor een situationship.

In de praktijk voer je je concept in of maak je een screenshot van het gesprek, en Subtext zegt wat jouw bericht waarschijnlijk zal signaleren, wijst naar de woorden die die indruk creëren, en biedt versies die nog steeds als jij klinken. Probeer Subtext in je browserDownload de appProbeer Subtext in je browser

Mijn inschatting is dat deze categorie kleiner is dan de pitchdecks beloven en nuttiger dan de sceptici toegeven. Gedachten lezen blijft buiten bereik. Bewoording lezen kan vandaag al, en het meeste van de schade in geschreven communicatie begint daar sowieso. Dat voelde als reden genoeg om te bouwen.

---

Werk je aan een van deze tools en denk je dat ik jouw benchmark verkeerd heb gelezen? Laat het me weten op LinkedIn.

Samet Durgun is medeoprichter van Subtext, een app die de emotionele toon van je berichten oppikt en ze herschrijft in je eigen woorden. Hij woont in Berlijn.

---

Bronnen

Elke link hierboven verwijst naar de oorspronkelijke bron, waar die bestaat, genummerd in de volgorde waarin ze voorkomen. Twee bronnen staan zonder link omdat ik geen stabiele URL kon vinden, en de laatste twee zijn verdere leesstof in plaats van beweringen die hierboven gedaan worden.

1. Google Cloud. Natural Language API basics: sentiment score and magnitude.
2. AWS. Amazon Comprehend: sentiment analysis.
3. Microsoft. Azure Language: sentiment analysis and opinion mining.
4. Chhaya et al. (2018). Frustrated, Polite, or Formal: Quantifying Feelings and Tone in Email. PEOPLES Workshop, NAACL 2018.
5. Demszky et al. (2020). GoEmotions: A Dataset of Fine-Grained Emotions. ACL 2020.
6. Wang et al. (2024). Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning. arXiv.
7. Rethinking Emotion Annotations in the Era of Large Language Models (2025).
8. Buechel en Hahn (2017). EmoBank, een corpus geannoteerd vanuit zowel het perspectief van de schrijver als dat van de lezer, en “Readers vs. Writers vs. Texts,” Linguistic Annotation Workshop 2017.
9. Muhammad et al. (2025). SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Detection. SemEval 2025.
10. Li et al. (2025). Can Third Parties Read Our Emotions? ACL 2025.
11. Abu-Salih et al. (2023). Emotion detection of social data: APIs comparative study. Heliyon.
12. Schlegel, Sommer en Mortillaro (2025). Large language models are proficient in solving and creating emotional intelligence tests. Communications Psychology.
13. Strachan et al. (2024). Testing theory of mind in large language models and humans. Nature Human Behaviour.
14. Ayers et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine.
15. Sabour et al. (2024). EmoBench: Evaluating the Emotional Intelligence of Large Language Models. ACL 2024.
16. Feng et al. (2024). Affect Recognition in Conversations Using Large Language Models. SIGDIAL 2024.
17. Hazarika et al. (2018). CASCADE: Contextual Sarcasm Detection in Online Discussion Forums. COLING 2018.
18. Srirag et al. (2025). BESSTIE: A Benchmark for Sentiment and Sarcasm Classification for Varieties of English. Findings of ACL 2025.
19. Sap et al. (2019). The Risk of Racial Bias in Hate Speech Detection. ACL 2019.
20. Barrett et al. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest.
21. Rhue (2019). Racial Influence on Automated Perceptions of Emotions. SSRN-werkdocument.
22. Microsoft (2022). Framework for building AI systems responsibly, kondigt het einde aan van emotie-inferentie in de Face API.
23. EPIC. In re HireVue, FTC complaint (2019).
24. EU AI Act, Article 5: Prohibited AI Practices, van toepassing sinds 2 februari 2025.
25. Lewis Silkin (2025). Understanding the EU AI Act’s prohibited practices, on the Commission’s February 2025 guidelines.
26. Future of Privacy Forum (2026). Red Lines under the EU AI Act: the prohibition of emotion recognition in the workplace and education.
27. Grammarly. Productpagina van de toondetector en hoe de toondetector werkt.
28. IBM. Watson Natural Language Understanding.
29. Hume AI.
30. Northeastern University (2021). You can’t determine emotion from someone’s facial movements, and neither can AI.
31. The Guardian (2024). Are you 80% angry and 2% sad? Why “emotional AI” is fraught with problems.