ArtiklarSkrivverktyg

AI kan gissa hur ditt meddelande låter. Den kan inte veta vad du faktiskt känner.

Precisionssiffrorna, varför även tränade människor är oense med varandra, och den nya EU-lagen som behandlar text annorlunda än ditt ansikte eller din röst.

Av Samet Durgun · Medgrundare av Subtext · 9 min läsning

Jag är med och bygger Subtext, en app som hjälper folk läsa meddelanden och komma på hur de ska svara. Så jag hade ett själviskt skäl att gräva i forskningen om AI-driven tonanalys: benchmarkarna, ACL-artiklarna, den psykologiska kritiken och EU-lagen som nu förbjuder en del av fältet.

Kortversionen ryms i två meningar. Dagens AI är bra på att förutsäga hur ett meddelande kan uppfattas av en läsare. Den har inget tillförlitligt sätt att veta vad avsändaren faktiskt känner. Allt nedan är detaljerna kring glappet mellan de två meningarna.

Tonanalys är fem olika jobb

Uttrycket låter som en enda funktion. Under huven döljer sig separata problem som blir svårare ju längre ner på listan man kommer.

Sentiment är det enkla: är texten positiv, negativ eller neutral. Alla stora molnleverantörer säljer det. Googles API1 ger en poäng från minus ett till plus ett tillsammans med ett magnitudmått på känslostyrka, Amazon Comprehend2 sorterar text som positiv, negativ, neutral eller blandad, och Microsofts Azure-tjänst3 lägger till åsiktsanalys på aspektnivå, så en mening som “appen är bra men supporten var usel” delas upp korrekt i stället för att medelvärdas till gröt.

Känsloigenkänning är nästa steg: ilska, glädje, rädsla, sorg och alla deras kusiner. Svårare, vilket siffrorna nedan visar.

Mellanmänsklig ton är det du bryr dig om när du sms:ar din hyresvärd. Låter det här varmt, direkt, defensivt, anklagande. Forskare modellerade redan frustration, formalitet och artighet i arbetsmejl redan 20184, och det fungerade rimligt bra eftersom de behandlade dessa som separata dimensioner i stället för en enda känsloetikett.

Sedan kommer sarkasm och underton, som beror mer på sammanhang än på ord. Längst ner sitter avsändarens privata känslotillstånd, det som det mesta av marknadsföringen antyder och som forskningen minst stöder.

Så när en produktsida säger att den “läser av tonen” är min första fråga vilket av de fem den menar.

Precisionssiffrorna som aldrig hamnar på landningssidan

Referensdatasetet för finkornig känsloigenkänning i text är Googles GoEmotions5: 58 000 Reddit-kommentarer, manuellt märkta med 27 känslor plus neutral, presenterat på ACL 2020. BERT-baslinjen fick en macro-F1 på 0,46 över hela etikettuppsättningen. Senare arbete6 med starkare modeller och datatricks pressade upp det till ungefär 0,49 till 0,51. År av framsteg, och de bästa specialiserade modellerna missar fortfarande en stor andel av de finkorniga etiketterna.

Be en allmän chattbot göra samma 28-vägssortering och dess benchmarkpoäng hamnar en bra bit under de finjusterade småmodellerna, delvis för att fria modeller hittar på etiketter utanför taxonomin och inte kalibrerar mot testets trösklar. Vilket låter fördömande tills man lär sig att i en studie från 20257 höll mänskliga bedömare ofta med GPT-4:s etiketter framför datasetets officiella. Ibland är det inte modellen som har fel, det är benchmarken som är den svagare parten.

Grov positiv-mot-negativ-klassificering ger betydligt högre poäng rakt igenom. Kollapsen sker precis där de intressanta distinktionerna finns: irritation mot ilska, besvikelse mot ogillande.

Människor är också oense om ton

Det som fick mig att se om hela ämnet var vad som händer när man kontrollerar människorna. GoEmotions-artikeln redovisar samstämmigheten mellan sina egna mänskliga märkare, och för de flesta känslor ligger Cohens kappa mellan ungefär 0,1 och 0,5. Tacksamhet är lätt, på 0,75. Sorg landar på 0,09, nära ren slump. När tränade människor som läser samma mening inte kan enas om den uttrycker besvikelse eller ogillande, pressar en modell som får 0,46 mot dessa etiketter mot uppgiftens eget tak.

Det går djupare. Vems känsla mäter vi ens? Ett dataset kallat EmoBank8 märkte samma meningar två gånger, en gång ur avsändarens perspektiv och en gång ur läsarens, för det visar sig vara olika variabler. Samma forskare fann 2017 att märkning ur avsändarens perspektiv gav bättre kvalitet överlag. Och den stora SemEval 2025-uppgiften om känslor9, som täckte över 30 språk från sju språkfamiljer, siktar medvetet in sig på upplevd känsla: vad en vanlig läsare skulle tillskriva texten, uttryckligen inte vad avsändaren kände inuti.

Det skarpaste testet kom 2025. En ACL-studie10 bad författare märka sina egna känslor, lät sedan utomstående människor och LLM:er gissa. Båda kom till korta mot författarnas egna uppgifter, och LLM:erna slog de mänskliga främlingarna nästan rakt igenom. Varje halva av det fyndet spelar roll. AI är nu bättre än en slumpmässig person på att läsa av dig från text, och den kan ändå inte tillförlitligt rekonstruera vad du kände.

En praktisk konsekvens: en jämförelse i Heliyon från 202311 körde åtta kommersiella känslo-API:er över samma dataset och fann dem oense med varandra, med rangordningar som skiftade mellan dataseten. Varje leverantör som citerar “95 procent träffsäker känsloigenkänning” utan att namnge etiketterna, datan och språket citerar en siffra som inte bär tyngden av påståendet.

Modeller klarar känslotester glänsande och missar ändå personen

Två forskningsresultat ser motsägelsefulla ut tills man skiljer på vad de mäter.

I en studie från 2025 i Communications Psychology12 gjorde sex modeller, däribland ChatGPT-4, Gemini 1.5 Flash, Claude 3.5 Haiku och DeepSeek V3, fem standardiserade EQ-test, av det slag som används för att bedöma människor. Modellerna nådde i snitt 81 procent rätt mot 56 procent för det mänskliga snittet i testernas valideringsstudier. I Nature Human Behaviour13 matchade eller slog GPT-4 människor på klassiska theory-of-mind-uppgifter som att upptäcka falska föreställningar och indirekta önskemål, men den snubblade på att känna igen sociala klavertramp. Och i JAMA Internal Medicine14 läste legitimerade bedömare svar på riktiga patientfrågor och föredrog chattbottens svar framför läkarnas 78,6 procent av gångerna, och skattade dem som 9,8 gånger mer sannolikt empatiska. En brasklapp värd att ha kvar: chattbottens svar var i snitt 211 ord mot läkarnas 52, och fördelen krympte när läkarna skrev längre.

Samtidigt hittar EmoBench15, en benchmark byggd för att kräva känslomässigt resonemang snarare än mönsterigenkänning, fortfarande ett tydligt gap mellan modeller och genomsnittliga människor.

Båda fynden kan vara sanna eftersom att veta om känslor och att veta någons känsla är olika färdigheter. En modell har läst mer om svartsjuka, sorg och pinsamma ursäkter på jobbet än någon levande människa. Det den saknar är sammanhang om just den person som skrev just det här meddelandet.

Fyra personer kan skriva samma ord: “Grattis. Jag är glad för din skull.” En menar det. En annan avundas dig. En tredje är hjärtekrossad och tapper. Den fjärde är sarkastisk. Varje version är identisk på skärmen, så ingen textmodell kan skilja dem åt, och det kunde inte heller en mänsklig främling. Den informationen finns utanför orden.

Sammanhanget gör det mesta av jobbet

Ta svaret “Okej.”

För sig själv kan det betyda samtycke, besvikelse, irritation, likgiltighet eller en dörr som tyst stängs. Sätt det efter “Du har flyttat fram deadlinen för tredje gången” och tolkningen smalnar snabbt av. Inget i ordet ändrades. Sammanhanget gjorde det.

Sarkasmforskningen landar gång på gång i samma slutsats: även människor behöver ofta det omgivande samtalet för att upptäcka sarkastisk avsikt1617, vilket är varför nyare utvärderingar testar modeller på hela dialoger i stället för isolerade meningar. Den praktiska regeln för varje tonverktyg följer direkt. Mata det med tråden, relationen och vad som står på spel. Att bedöma ett enskilt meddelande isolerat är att be modellen misslyckas artigt.

Ton är kulturell, och de flesta modeller växte upp på amerikansk engelska

En benchmark från 2025 kallad BESSTIE18 testade modeller på sentiment och sarkasm över australisk, brittisk och indisk engelska. Prestandan var genomgående sämre på indisk engelska, med sarkasm som svåraste fallet, och modellerna hade svårt att generalisera från en variant till en annan.

Det resultatet stämmer med vardagserfarenheten. “Kindly do the needful” läses på ett sätt i indisk affärsengelska och på ett annat av en modell kalibrerad på amerikanska kontorsnormer. Efter 13 år i Berlin kan jag lägga till den tyska versionen: rakhet som räknas som respekt för din tid här kan flaggas som kall av mjukvara uppfostrad på amerikansk artighet. Etiketter som oförskämd, varm eller för direkt är kulturella omdömen förklädda till objektiva. Ett tonverktyg som ignorerar vem som skriver till vem, och i vilken kultur, kommer att självsäkert misstolka båda sidor.

Ansiktsavläsning är där emotions-AI körde ur vägen

Allt ovan handlar om text. Den ansiktsscannande grenen av branschen har ett betydligt sämre facit, och det formar hur tillsynsmyndigheter nu behandlar hela kategorin.

År 2019 granskade19 psykologen Lisa Feldman Barrett och kollegor över tusen studier och drog slutsatsen att man inte tillförlitligt kan sluta sig till hur någon känner sig utifrån ansiktsrörelser. Folk rynkar pannan medan de koncentrerar sig, ler medan de är oroliga och gråter på bröllop. Samma år körde en studie foton av 400 NBA-spelare genom två kommersiella system och fann att båda läste in mer negativ känsla i svarta spelares ansikten20 än i vita spelares vid liknande uttryck.

Branschen märkte det. Microsoft pensionerade känsloinferens från sitt Face API21 2022. HireVue slutade med ansiktsanalys i sina rekryteringsbedömningar 2021 efter att digitala rättighetsgruppen EPIC lämnade in ett klagomål till FTC22. Textverktyg är en annan teknik, men de ärver den här skepsisen, och de förtjänar den varje gång de påstår sig läsa inre tillstånd i stället för formulering.

EU drog en linje, och text hamnar utanför den

Sedan den 2 februari 2025 förbjuder EU:s AI-förordning, artikel 5.1 f23, AI som drar slutsatser om människors känslor på arbetsplatser och i skolor, med snäva undantag för medicinska ändamål och säkerhetsanvändning som att upptäcka förartrötthet. Att bryta mot de förbjudna metoderna kan ge böter på upp till 7 procent av den globala årsomsättningen.

Räckvidden spelar roll för alla som bygger eller använder de här verktygen. Vägledning från EU-kommissionen knyter förbudet till biometriska data24: ansikten, röster, tangenttrycksmönster, kroppshållning. Ett system som drar slutsatser om känslor från skriven text ligger uttryckligen utanför förbudet25. Att analysera hur ett mejl kan landa är lagligt. Att rikta en webbkamera mot anställda för att poängsätta deras humör är förbjudet. Den gränsen följer vetenskapen ganska väl, och för Subtext blir den en designbegränsning vi ändå skulle valt: bara text, inga biometriska data, ingen övervakning på arbetsplatsen.

Vad dagens verktyg faktiskt duger till

Grammarlys tonanalysator26 är det tydligaste konsumentexemplet, och dess formulering är tyst det mest hederliga på marknaden. Den analyserar ordval, formulering, skiljetecken och versaler26 för att berätta hur ditt meddelande sannolikt kommer att låta för en läsare, över mer än 40 toner. Sannolikt kommer att låta. Den formuleringen gör ett riktigt vetenskapligt jobb.

Molntjänsterna från Google, Amazon, Microsoft och IBM27 är byggda för volym: supportärenden, recensioner, enkätsvar. IBM pensionerade sin fristående Tone Analyzer 2023 och lade in känsloanalysen i sin bredare språkprodukt. De här är rätt verktyg för “hur känner kunderna inför vårt kassaflöde” och fel verktyg för “låter min text passiv-aggressiv.”

Allmänna LLM:er är det mest kapabla alternativet för personliga meddelanden eftersom de kan använda sammanhang, hantera flera toner samtidigt och förklara sin tolkning. De är också sämst kalibrerade, så behandla varje konfidenssiffra som en vibb. På röstsidan tog Hume AI28 in en Series B på 50 miljoner dollar 2024 för att mäta röstlig modulering, mest för att röststyrda gränssnitt ska kunna svara med rätt tempo och ton. En smalare användning, och en mer försvarbar sådan än att påstå sig upptäcka dolda känslor.

Hur det här formar Subtext

Den analyserar de meddelanden folk bryr sig mest om: texten från din chef, din dejt, din mamma. Forskningen avgör hur det bör fungera.

Resultatet måste handla om uppfattning. “Det här kan uppfattas som avfärdande” är ett påstående som stöds av evidensen. “Hon är arg på dig” är ett påstående som inte gör det, och ACL-studien med förstahandsuppgifter är kvittot. Vi låter också meddelanden bära flera toner samtidigt, för det gör riktiga meddelanden. Varm och defensiv är en normal kombination, och de nyare benchmarkarna behandlar känsla som flermärkt av precis det skälet.

Bevis slår domar. Ett användbart verktyg pekar på orden som skapar ett intryck, det sätt som “som jag redan förklarade” tyst gör det tunga jobbet i ett spänt mejl, så du kan avgöra om det intrycket är det du vill ge. Osäkerhet förblir också synlig. När ett meddelande är tvetydigt är tvetydigheten ofta det mest exakta fyndet, och att avrunda det till en säker etikett vore falsk precision. Sammanhang kommer först: vi läser hellre tråden och frågar vem mottagaren är än betygsätter en mening som svävar i luften, för samma nio ord betyder olika saker för en chef och för någon du dejtar löst.

Den hederliga versionen av den här kategorin är mindre än pitchdäcken och mer användbar än skeptikerna medger. Tankeläsning är fortfarande utom räckhåll. Att läsa formuleringar är tillgängligt redan i dag, och det mesta av skadan i skriven kommunikation börjar ändå där. Det kändes som ett tillräckligt bra skäl att bygga något av det.


Jobbar du med något av de här verktygen och tycker jag har missläst din benchmark? Säg till på LinkedIn.

Samet Durgun är medgrundare till Subtext, en app som fångar den känslomässiga tonen i dina meddelanden och skriver om dem med dina egna ord. Han bor i Berlin.


Källor

Varje länk ovan går till primärkällan där en sådan finns. Två poster citeras utan länk eftersom jag inte kunde bekräfta en stabil URL för dem, och de två sista är vidare läsning snarare än påståenden gjorda ovan.

  1. Google Cloud. Natural Language API basics: sentiment score and magnitude.
  2. AWS. Amazon Comprehend: sentiment analysis.
  3. Microsoft. Azure Language: sentiment analysis and opinion mining.
  4. Chhaya et al. (2018). Frustrated, Polite, or Formal: Quantifying Feelings and Tone in Email. PEOPLES Workshop, NAACL 2018.
  5. Demszky et al. (2020). GoEmotions: A Dataset of Fine-Grained Emotions. ACL 2020.
  6. Wang et al. (2024). Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning. arXiv.
  7. Rethinking Emotion Annotations in the Era of Large Language Models (2025).
  8. Buechel and Hahn (2017). EmoBank, ett korpus annoterat ur både avsändarens och läsarens perspektiv, och “Readers vs. Writers vs. Texts,” Linguistic Annotation Workshop 2017.
  9. Muhammad et al. (2025). SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Detection. SemEval 2025.
  10. Li et al. (2025). Can Third Parties Read Our Emotions? ACL 2025.
  11. Abu-Salih et al. (2023). Emotion detection of social data: APIs comparative study. Heliyon.
  12. Schlegel, Sommer, and Mortillaro (2025). Large language models are proficient in solving and creating emotional intelligence tests. Communications Psychology.
  13. Strachan et al. (2024). Testing theory of mind in large language models and humans. Nature Human Behaviour.
  14. Ayers et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine.
  15. Sabour et al. (2024). EmoBench: Evaluating the Emotional Intelligence of Large Language Models. ACL 2024.
  16. Feng et al. (2024). Affect Recognition in Conversations Using Large Language Models. SIGDIAL 2024.
  17. Hazarika et al. (2018). CASCADE: Contextual Sarcasm Detection in Online Discussion Forums. COLING 2018.
  18. Srirag et al. (2025). BESSTIE: A Benchmark for Sentiment and Sarcasm Classification for Varieties of English. Findings of ACL 2025.
  19. Barrett et al. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest.
  20. Rhue (2019). Racial Influence on Automated Perceptions of Emotions. SSRN working paper.
  21. Microsoft (2022). Framework for building AI systems responsibly, tillkännagivandet av att känsloinferens i Face API pensioneras.
  22. EPIC. In re HireVue, FTC complaint (2019).
  23. EU AI Act, Article 5: Prohibited AI Practices, tillämplig sedan 2 februari 2025.
  24. Lewis Silkin (2025). Understanding the EU AI Act’s prohibited practices, on the Commission’s February 2025 guidelines.
  25. Future of Privacy Forum (2026). Red Lines under the EU AI Act: the prohibition of emotion recognition in the workplace and education.
  26. Grammarly. Tone detector product page och how the tone detector works.
  27. IBM. Watson Natural Language Understanding.
  28. Hume AI.
  29. Northeastern University (2021). You can’t determine emotion from someone’s facial movements, and neither can AI.
  30. The Guardian (2024). Are you 80% angry and 2% sad? Why “emotional AI” is fraught with problems.