AI kan gætte, hvordan din besked lyder. Den kan ikke vide, hvad du faktisk føler.

Jeg er med til at bygge Subtext, en app, der hjælper folk med at læse beskeder og finde ud af, hvordan de skal svare. Så jeg havde en selvisk grund til at grave mig ned i forskningen om AI og tonegenkendelse: benchmarkene, ACL-artiklerne, psykologikritikken og den nye EU-lov, der nu forbyder en del af feltet.

Den korte version fylder to sætninger. Nutidens AI er god til at forudsige, hvordan en besked kan opfattes af en læser. Den har ingen pålidelig måde at vide, hvad afsenderen egentlig føler. Alt herunder er detaljer om afstanden mellem de to sætninger.

Tonegenkendelse er fem forskellige opgaver

Udtrykket lyder som én funktion. Under overfladen dækker det separate problemer, der bliver sværere, jo længere ned ad listen man kommer.

Sentiment er den nemme: er teksten positiv, negativ eller neutral. Enhver stor cloud-udbyder sælger den. Googles API¹ returnerer en score fra minus én til plus én sammen med en styrke for den følelsesmæssige intensitet, Amazon Comprehend² sorterer tekst i positiv, negativ, neutral eller blandet, og Microsofts Azure-tjeneste³ tilføjer opinion mining på aspektniveau, så en sætning som “appen er fantastisk, men supporten var elendig” bliver splittet korrekt op i stedet for at blive gennemsnittet til grød.

Emotionsgenkendelse er næste skridt: vrede, glæde, frygt, sorg og alle deres kusiner. Sværere, som tallene vil vise.

Den mellemmenneskelige tone er det, du bekymrer dig om, når du skriver til din udlejer. Lyder det varmt, direkte, forsvarspræget, anklagende. Forskere modellerede allerede frustration, formalitet og høflighed i arbejdsmails tilbage i 2018⁴, og det virkede rimeligt godt, fordi de behandlede dem som separate dimensioner i stedet for én følelsesmærkat.

Så kommer sarkasme og undertekst, som afhænger mere af konteksten end af ordene. Nederst ligger afsenderens private følelsesmæssige tilstand, det som markedsføringen oftest antyder, og som forskningen understøtter mindst.

Så når en produktside siger, at den registrerer tone, er mit første spørgsmål, hvilken af de fem den mener.

Nøjagtighedstallene, der aldrig kommer på landingssiden

Referencedatasættet for finkornet emotionsgenkendelse i tekst er Googles GoEmotions⁵: 58.000 Reddit-kommentarer, håndmærket med 27 følelser plus neutral, præsenteret på ACL i 2020. Dens BERT-baseline scorede en macro F1 på 0,46 på tværs af hele mærkatsættet. Senere arbejde⁶ med stærkere modeller og datatricks fik det op på cirka 0,49 til 0,51. År med fremskridt, og selv de bedste specialiserede modeller misser stadig en stor del af de finkornede mærkater.

Bed en almindelig chatbot om at lave den samme sortering i 28 kategorier, og dens benchmarkscore falder et godt stykke under de finjusterede små modeller, dels fordi frie modeller opfinder mærkater uden for taksonomien og ikke kalibrerer sig til testens tærskler. Hvilket lyder fordømmende, indtil man opdager, at menneskelige dommere i et studie fra 2025⁷ ofte gav GPT-4 ret frem for datasættets officielle mærkater. Nogle gange er det ikke modellen, der tager fejl af benchmarken. Det er benchmarken, der er den svage part.

Grov klassificering af positiv versus negativ scorer langt højere over hele linjen. Sammenbruddet sker præcis dér, hvor de interessante forskelle bor: irritation versus vrede, skuffelse versus misbilligelse.

Mennesker er også uenige om tone

Det, der virkelig fik mig til at se anderledes på hele emnet, er hvad der sker, når man tjekker menneskene selv. GoEmotions-artiklen rapporterer enigheden mellem sine egne menneskelige mærkere, og for de fleste følelser ligger Cohens kappa mellem cirka 0,1 og 0,5. Taknemmelighed er nem, med 0,75. Sorg lander på 0,09, tæt på at mærke tilfældigt. Når trænede mennesker, der læser den samme sætning, ikke kan blive enige om, hvorvidt den udtrykker skuffelse eller misbilligelse, presser en model, der scorer 0,46 mod de mærkater, mod loftet for selve opgaven.

Det stikker dybere. Hvis følelse er det egentlig, vi måler? Et datasæt kaldet EmoBank⁸ annoterede de samme sætninger to gange, én gang fra afsenderens perspektiv og én gang fra læserens, fordi de to viser sig at være forskellige variabler. De samme forskere fandt i 2017, at annotering fra afsenderens perspektiv gav bedre kvalitet samlet set. Og den store SemEval 2025-opgave om følelser⁹, som dækkede over 30 sprog fra syv sprogfamilier, sigter bevidst efter oplevet følelse: det en almindelig læser ville tillægge teksten, udtrykkeligt ikke det, afsenderen følte indeni.

Den skarpeste test kom i 2025. Et ACL-studie¹⁰ bad forfattere om at mærke deres egne følelser og lod derefter fremmede mennesker og sprogmodeller gætte. Begge kom til kort i forhold til forfatternes egne angivelser, og sprogmodellerne slog de fremmede mennesker på næsten alle punkter. Begge halvdele af det fund betyder noget. AI er nu bedre end en tilfældig person til at læse dig ud fra ren tekst, og den kan stadig ikke pålideligt genskabe, hvad du følte.

En praktisk konsekvens: en sammenligning fra 2023 i Heliyon¹¹ kørte otte kommercielle emotions-API’er over de samme datasæt og fandt, at de var uenige med hinanden, med rangeringer der skiftede fra datasæt til datasæt. Enhver leverandør, der citerer “95 procent nøjagtig emotionsgenkendelse” uden at navngive mærkaterne, dataene og sproget, citerer et tal, der ikke kan bære vægten af påstanden.

Modeller består emotionstest med glans og misser stadig personen

To forskningsresultater ser modstridende ud, indtil man adskiller, hvad de hver især måler.

I et studie fra 2025 i Communications Psychology¹² tog seks modeller, heriblandt ChatGPT-4, Gemini 1.5 Flash, Claude 3.5 Haiku og DeepSeek V3, fem standardtests for emotionel intelligens, af den slags man bruger til at teste mennesker. Modellerne scorede i gennemsnit 81 procent korrekt mod de 56 procent, mennesker i gennemsnit scorede i testenes egne valideringsstudier. I Nature Human Behaviour¹³ matchede eller slog GPT-4 mennesker på klassiske theory-of-mind-opgaver som at spotte falske overbevisninger og indirekte anmodninger, selvom den snublede over at genkende faux pas. Og i JAMA Internal Medicine¹⁴ læste autoriserede bedømmere svar på rigtige patientspørgsmål og foretrak chatbottens svar frem for lægernes i 78,6 procent af tilfældene, og vurderede dem som 9,8 gange så tilbøjelige til at være empatiske. Et forbehold værd at holde fast i: chatbottens svar fyldte i gennemsnit 211 ord mod lægernes 52, og præferencen skrumpede, når lægerne skrev længere.

I mellemtiden viser EmoBench¹⁵, en benchmark bygget til at kræve følelsesmæssig ræsonnering frem for mønstergenkendelse, stadig en tydelig kløft mellem modeller og gennemsnitlige mennesker.

Begge fund kan være sande, fordi det at vide noget om følelser og det at kende én bestemt persons følelse er to forskellige færdigheder. En model har læst mere om jalousi, sorg og akavede undskyldninger på arbejdspladsen end noget levende menneske. Det, den mangler, er konteksten om den ene person, der skrev netop denne besked.

Fire mennesker kan skrive de samme ord: “Tillykke. Jeg er glad på dine vegne.” Den ene mener det. Den anden er bitter på dig. Den tredje har hjertesorg og prøver at være modig. Den fjerde er sarkastisk. Hver version er identisk på skærmen, så ingen tekstmodel kan skelne dem fra hinanden, og det kunne en fremmed heller ikke. Den information findes uden for ordene.

Konteksten gør det meste af arbejdet

Tag svaret “Fint.”

Alene kan det være enighed, skuffelse, irritation, ligegyldighed eller en dør, der lukkes stille i. Sæt det efter “Du har flyttet deadlinen for tredje gang”, og tolkningen indsnævres hurtigt. Der er ikke ændret noget ved selve ordet. Konteksten er ændret.

Sarkasmeforskningen lander gang på gang på den samme konklusion: selv mennesker har ofte brug for den omgivende samtale for at fange den sarkastiske hensigt¹⁶¹⁷, hvilket er grunden til, at nyere evalueringer tester modeller på hele dialoger frem for isolerede sætninger. Den praktiske regel for ethvert toneværktøj følger direkte af det. Giv det tråden, relationen og det, der står på spil. At bedømme en enkelt besked isoleret er at bede modellen om at fejle høfligt.

Tone er kulturelt betinget, og de fleste modeller er vokset op med amerikansk engelsk

En benchmark fra 2025 kaldet BESSTIE¹⁸ testede modeller på sentiment og sarkasme på tværs af australsk, britisk og indisk engelsk. Præstationen var konsekvent dårligere på indisk engelsk, med sarkasme som det sværeste tilfælde, og modellerne havde svært ved at generalisere fra én variant til en anden.

Det resultat matcher hverdagserfaringen. “Kindly do the needful” læses på én måde i indisk professionelt engelsk og på en anden måde af en model kalibreret på amerikanske kontornormer. Efter 13 år i Berlin kan jeg tilføje den tyske udgave: den direkthed, der her gælder som respekt for din tid, kan blive flaget som kold af software opdraget på amerikansk høflighed. Mærkater som uhøflig, varm eller for direkte er kulturelle vurderinger klædt ud som objektive kendsgerninger. Et toneværktøj, der ignorerer hvem der skriver til hvem, og i hvilken kultur, vil selvsikkert læse begge parter forkert.

Ansigtsaflæsning er dér, hvor emotions-AI mistede fodfæstet

Alt ovenstående handler om tekst. Den del af branchen, der scanner ansigter, har en langt mere broget historie, og den præger, hvordan regulatorer nu behandler hele kategorien.

I 2019 gennemgik psykologen Lisa Feldman Barrett og kolleger over tusind studier¹⁹ og konkluderede, at man ikke pålideligt kan udlede, hvordan nogen har det, ud fra deres ansigtsudtryk. Folk rynker panden, mens de koncentrerer sig, smiler, mens de er nervøse, og græder til bryllupper. Samme år kørte et studie fotos af 400 NBA-spillere gennem to kommercielle systemer og fandt, at begge systemer læste mere negativ følelse ind i sorte spilleres ansigter²⁰ end i hvide spilleres ved tilsvarende udtryk.

Branchen lagde mærke til det. Microsoft pensionerede emotionsudledning fra sin Face API²¹ i 2022. HireVue droppede ansigtsanalyse fra sine ansættelsesvurderinger i 2021, efter at borgerrettighedsgruppen EPIC indgav en klage til FTC²². Tekstværktøjer er en anden teknologi, men de arver denne skepsis, og de gør sig fortjent til den, hver gang de påstår at kunne læse indre tilstande i stedet for ordvalg.

EU trak en streg, og tekst ligger uden for den

Siden 2. februar 2025 forbyder artikel 5(1)(f)²³ i EU’s AI-forordning AI, der udleder menneskers følelser på arbejdspladser og i skoler, med snævre undtagelser for medicinsk brug og sikkerhedsbrug som registrering af førertræthed. Overtrædelse af de forbudte praksisser kan udløse bøder på op til 7 procent af den globale årsomsætning.

Omfanget betyder noget for alle, der bygger eller bruger disse værktøjer. Retningslinjer fra EU-Kommissionen knytter forbuddet til biometriske data²⁴: ansigter, stemmer, tastaturdynamik, kropsholdning. Et system, der udleder følelser fra skreven tekst, ligger udtrykkeligt uden for forbuddet²⁵. At analysere, hvordan en mail kan lande, er lovligt. At pege et webkamera på medarbejdere for at score deres humør er forbudt. Den grænse følger videnskaben ret godt, og for Subtext oversætter den sig til en designbegrænsning, vi alligevel ville have valgt: kun tekst, ingen biometri, ingen overvågning på arbejdspladsen.

Hvad nutidens værktøjer er gode til

Grammarlys tonedetektor²⁶ er det klareste forbrugereksempel, og dens formulering er stille og roligt den mest ærlige på markedet. Den analyserer ordvalg, formulering, tegnsætning og brug af store bogstaver²⁶ for at fortælle dig, hvordan din besked sandsynligvis vil lyde for en læser, på tværs af mere end 40 toner. Sandsynligvis lyde. Den formulering udfører reelt videnskabeligt arbejde.

Cloud-API’erne fra Google, Amazon, Microsoft og IBM²⁷ er bygget til volumen: supportsager, anmeldelser, spørgeskemasvar. IBM pensionerede sin selvstændige Tone Analyzer i 2023 og lagde emotionsgenkendelse ind i sit bredere sprogprodukt. Det er de rigtige værktøjer til “hvordan har vores kunder det med vores betalingsflow” og de forkerte til “lyder min tekst passiv-aggressiv”.

Generelle sprogmodeller er det mest kapable valg til personlige beskeder, fordi de kan bruge kontekst, håndtere flere toner på én gang og forklare deres aflæsning. De er også de dårligst kalibrerede, så enhver konfidensprocent bør behandles som en fornemmelse. På stemmesiden hentede Hume AI²⁸ en Serie B-runde på 50 millioner dollar i 2024 for at måle stemmemodulation, mest så stemmegrænseflader kan svare med et passende tempo og en passende tone. Et smallere brug, og et mere forsvarligt ét end at påstå at kunne opdage skjulte følelser.

Sådan former det Subtext

Den analyserer de beskeder, folk holder mest af: teksten fra din chef, din date, din mor. Forskningen afgør, hvordan det bør fungere.

Outputtet skal handle om opfattelse. “Det her kan virke afvisende” er en påstand, evidensen understøtter. “Hun er sur på dig” er en påstand, den ikke er, og ACL-studiet med førstepartsdata er kvitteringen. Vi lader også beskeder bære flere toner på én gang, for det gør virkelige beskeder. Varm og forsvarspræget er en normal kombination, og de nyere benchmarks behandler netop derfor følelser som multi-label.

Evidens slår domme. Et brugbart værktøj peger på de ord, der skaber et indtryk, den måde “som jeg allerede har forklaret” stille løfter det tunge læs i en anspændt mail, så du kan afgøre, om det indtryk er det, du ønsker. Usikkerhed forbliver også synlig. Når en besked er tvetydig, er tvetydigheden ofte det mest præcise fund, og at runde den ned til et sikkert mærkat ville være falsk præcision. Konteksten kommer først: vi vil hellere læse tråden og spørge, hvem modtageren er, end bedømme en sætning, der svæver i tomrummet, for de samme ni ord betyder noget forskelligt for en chef og for en situationship.

Den ærlige version af denne kategori er mindre end pitch-deckene og mere brugbar, end skeptikerne vil indrømme. Tankelæsning er stadig uden for rækkevidde. At læse ordvalg er muligt i dag, og det meste af skaden i skriftlig kommunikation starter alligevel dér. Det føltes som en god nok grund til at bygge det.

---

Arbejder du med et af disse værktøjer og synes, jeg har læst din benchmark forkert? Sig det til mig på LinkedIn.

Samet Durgun er medstifter af Subtext, en app der fanger den følelsesmæssige tone i dine beskeder og skriver dem om med dine egne ord. Han bor i Berlin.

---

Kilder

Hvert link ovenfor går til den primære kilde, hvor der findes en, nummereret i den rækkefølge, de optræder. To poster er citeret uden link, fordi jeg ikke kunne bekræfte en stabil URL for dem, og de sidste to er supplerende læsning frem for påstande, der er brugt ovenfor.

1. Google Cloud. Natural Language API basics: sentiment score and magnitude.
2. AWS. Amazon Comprehend: sentiment analysis.
3. Microsoft. Azure Language: sentiment analysis and opinion mining.
4. Chhaya m.fl. (2018). Frustrated, Polite, or Formal: Quantifying Feelings and Tone in Email. PEOPLES Workshop, NAACL 2018.
5. Demszky m.fl. (2020). GoEmotions: A Dataset of Fine-Grained Emotions. ACL 2020.
6. Wang m.fl. (2024). Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning. arXiv.
7. Rethinking Emotion Annotations in the Era of Large Language Models (2025).
8. Buechel og Hahn (2017). EmoBank, et korpus annoteret fra både afsenderens og læserens perspektiv, samt “Readers vs. Writers vs. Texts,” Linguistic Annotation Workshop 2017.
9. Muhammad m.fl. (2025). SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Detection. SemEval 2025.
10. Li m.fl. (2025). Can Third Parties Read Our Emotions? ACL 2025.
11. Abu-Salih m.fl. (2023). Emotion detection of social data: APIs comparative study. Heliyon.
12. Schlegel, Sommer og Mortillaro (2025). Large language models are proficient in solving and creating emotional intelligence tests. Communications Psychology.
13. Strachan m.fl. (2024). Testing theory of mind in large language models and humans. Nature Human Behaviour.
14. Ayers m.fl. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine.
15. Sabour m.fl. (2024). EmoBench: Evaluating the Emotional Intelligence of Large Language Models. ACL 2024.
16. Feng m.fl. (2024). Affect Recognition in Conversations Using Large Language Models. SIGDIAL 2024.
17. Hazarika m.fl. (2018). CASCADE: Contextual Sarcasm Detection in Online Discussion Forums. COLING 2018.
18. Srirag m.fl. (2025). BESSTIE: A Benchmark for Sentiment and Sarcasm Classification for Varieties of English. Findings of ACL 2025.
19. Barrett m.fl. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest.
20. Rhue (2019). Racial Influence on Automated Perceptions of Emotions. SSRN working paper.
21. Microsoft (2022). Framework for building AI systems responsibly, der annoncerer pensioneringen af emotionsudledning i Face API.
22. EPIC. In re HireVue, FTC complaint (2019).
23. EU’s AI-forordning, Article 5: Prohibited AI Practices, gældende siden 2. februar 2025.
24. Lewis Silkin (2025). Understanding the EU AI Act’s prohibited practices, on the Commission’s February 2025 guidelines.
25. Future of Privacy Forum (2026). Red Lines under the EU AI Act: the prohibition of emotion recognition in the workplace and education.
26. Grammarly. Tonedetektor-produktside og sådan virker tonedetektoren.
27. IBM. Watson Natural Language Understanding.
28. Hume AI.
29. Northeastern University (2021). You can’t determine emotion from someone’s facial movements, and neither can AI.
30. The Guardian (2024). Are you 80% angry and 2% sad? Why “emotional AI” is fraught with problems.