Tekoäly voi arvata, miltä viestisi kuulostaa. Se ei tiedä, mitä oikeasti tunnet.

Olen mukana rakentamassa Subtextia, sovellusta joka auttaa ihmisiä lukemaan viestejä ja keksimään miten vastata. Minulla oli siis itsekäs syy kaivautua tekoälyn sävyntunnistuksen tutkimukseen: vertailutesteihin, ACL-papereihin, psykologian kritiikkiin ja uuteen EU-lakiin, joka nyt kieltää osan tästä alasta.

Lyhyt versio mahtuu kahteen lauseeseen. Nykyinen tekoäly osaa hyvin ennustaa, miltä viesti saattaa vaikuttaa lukijasta. Sillä ei ole luotettavaa keinoa tietää, mitä kirjoittaja oikeasti tuntee. Kaikki tästä eteenpäin on yksityiskohtia siitä kuilusta, joka näiden kahden lauseen väliin jää.

Sävyntunnistus on viisi eri tehtävää

Ilmaus kuulostaa yhdeltä ominaisuudelta. Pinnan alla se kattaa erillisiä ongelmia, jotka vaikeutuvat mitä pidemmälle listaa mennään.

Sentimentti on se helppo tapaus: onko teksti positiivinen, negatiivinen vai neutraali. Jokainen suuri pilvipalveluntarjoaja myy tätä. Googlen API¹ palauttaa pisteen väliltä miinus yksi ja plus yksi sekä voimakkuusluvun tunteen vahvuudelle, Amazon Comprehend² lajittelee tekstin positiiviseksi, negatiiviseksi, neutraaliksi tai sekoitukseksi, ja Microsoftin Azure-palvelu³ lisää näkökulmakohtaisen mielipideanalyysin, joten lause kuten “sovellus on hyvä mutta tuki oli surkeaa” pilkotaan oikein sen sijaan että se keskiarvoistuisi puuroksi.

Tunteentunnistus on seuraava askel: viha, ilo, pelko, suru ja niiden monet sukulaiset. Vaikeampaa, kuten luvut kohta osoittavat.

Vuorovaikutussävy on se, mistä välität kirjoittaessasi vuokranantajallesi. Kuulostaako tämä lämpimältä, suoralta, puolustelevalta, syyttävältä. Tutkijat mallinsivat turhautumista, muodollisuutta ja kohteliaisuutta työsähköposteissa jo vuonna 2018⁴, ja se toimi kohtuullisen hyvin, koska he käsittelivät näitä erillisinä ulottuvuuksina yhden tunnemerkinnän sijaan.

Sitten tulevat sarkasmi ja rivien väli, jotka riippuvat enemmän kontekstista kuin sanoista. Alimmaisena on kirjoittajan yksityinen tunnetila, joka on juuri se, mitä suurin osa markkinoinnista vihjaa ja tutkimus tukee vähiten.

Kun tuotesivu siis väittää tunnistavansa sävyn, ensimmäinen kysymykseni on, mitä näistä viidestä se tarkoittaa.

Tarkkuusluvut, jotka eivät koskaan päädy myyntisivulle

Vertailuaineisto tekstin hienojakoiselle tunteentunnistukselle on Googlen GoEmotions⁵: 58 000 Reddit-kommenttia, käsin merkitty 27 tunteella plus neutraali, esiteltiin ACL:ssä vuonna 2020. Sen BERT-perusmalli sai makro-F1-arvon 0,46 koko merkintäjoukolla. Myöhempi työ⁶ vahvemmilla malleilla ja datatempuilla nosti sen suunnilleen välille 0,49 ja 0,51. Vuosien kehitystä, ja parhaatkin erikoistuneet mallit hukkaavat yhä suuren osan hienojakoisista merkinnöistä.

Jos yleiskäyttöistä chatbottia pyytää tekemään saman 28-suuntaisen lajittelun, sen vertailupiste putoaa selvästi hienosäädettyjen pienempien mallien alle, osittain koska vapaamuotoiset mallit keksivät luokittelun ulkopuolisia merkintöjä eivätkä kalibroidu testin kynnysarvoihin. Se kuulostaa tuomiolta, kunnes tajuaa, että eräässä vuoden 2025 tutkimuksessa⁷ ihmisarvioijat asettuivat usein GPT-4:n merkintöjen puolelle aineiston virallisia merkintöjä vastaan. Joskus malli on eri mieltä vertailuaineiston kanssa siksi, että vertailuaineisto on se heikompi osapuoli.

Karkea jako positiiviseen ja negatiiviseen pisteytyy paljon korkeammalle joka mittarilla. Romahdus tapahtuu juuri siellä, missä kiinnostavat erot asuvat: ärtymys versus viha, pettymys versus paheksunta.

Ihmisetkin ovat eri mieltä sävystä

Se osa, joka muutti koko aiheen kehystäni, on se mitä tapahtuu kun tarkistaa ihmiset. GoEmotions-paperi raportoi yksimielisyyden omien ihmismerkitsijöidensä välillä, ja useimmissa tunteissa Cohenin kappa asettuu suunnilleen 0,1 ja 0,5 välille. Kiitollisuus on helppo, 0,75. Suru päätyy lukemaan 0,09, lähelle satunnaista merkitsemistä. Kun koulutetut ihmiset, jotka lukevat saman lauseen, eivät pääse yksimielisyyteen siitä ilmaiseeko se pettymystä vai paheksuntaa, malli joka saa 0,46 näitä merkintöjä vastaan painaa itse tehtävän kattoa vasten.

Se menee syvemmälle. Kenen tunnetta me edes mittaamme? EmoBank⁸ -niminen aineisto merkitsi samat lauseet kahdesti, kerran kirjoittajan näkökulmasta ja kerran lukijan, koska nämä osoittautuvat eri muuttujiksi. Samat tutkijat havaitsivat vuonna 2017, että kirjoittajan näkökulmasta merkitseminen tuotti kokonaisuutena parempaa laatua. Ja laaja SemEval 2025 -tunnetehtävä⁹, joka kattoi yli 30 kieltä seitsemästä kieliperheestä, tähtää tarkoituksella koettuun tunteeseen: siihen mitä yleinen lukija liittäisi tekstiin, nimenomaan ei siihen mitä kirjoittaja sisällään tunsi.

Terävin testi tehtiin vuonna 2025. ACL-tutkimus¹⁰ pyysi kirjoittajia merkitsemään omat tunteensa, ja antoi sitten ulkopuolisten ihmisten ja kielimallien arvata. Molemmat jäivät kirjoittajien omien raporttien alle, ja kielimallit voittivat ihmisvieraat lähes joka mittarilla. Molemmat puoliskot tästä löydöstä ovat tärkeitä. Tekoäly on nyt parempi kuin satunnainen ihminen lukemaan sinua pelkästä tekstistä, ja se ei silti pysty luotettavasti rekonstruoimaan mitä tunsit.

Yksi käytännön seuraus: vuoden 2023 Heliyon-vertailu¹¹ ajoi kahdeksan kaupallista tunnistus-API:a samojen aineistojen läpi ja havaitsi niiden olevan eri mieltä keskenään, järjestyksen vaihdellessa aineistosta toiseen. Jokainen myyjä, joka lainaa “95 prosentin tarkkuutta tunteentunnistuksessa” nimeämättä merkintöjä, dataa tai kieltä, lainaa lukua joka ei kanna väitteen painoa.

Mallit läpäisevät tunnetestit ja silti ohittavat ihmisen

Kaksi tutkimustulosta näyttävät ristiriitaisilta, kunnes erottaa mitä ne mittaavat.

Vuoden 2025 Communications Psychology¹² -tutkimuksessa kuusi mallia, muun muassa ChatGPT-4, Gemini 1.5 Flash, Claude 3.5 Haiku ja DeepSeek V3, suoritti viisi standardia tunneälytestiä, samanlaisia joilla arvioidaan ihmisiä. Mallit saivat keskimäärin 81 prosenttia oikein, kun ihmisten keskiarvo testien validointitutkimuksissa oli 56 prosenttia. Nature Human Behaviour¹³ -lehdessä GPT-4 vastasi tai voitti ihmiset klassisissa mielenteorian tehtävissä, kuten väärien uskomusten ja epäsuorien pyyntöjen tunnistamisessa, vaikka kompastuikin sosiaalisten kömmähdysten tunnistamisessa. Ja JAMA Internal Medicine¹⁴ -lehdessä lisensoidut arvioijat lukivat vastauksia oikeisiin potilaskysymyksiin ja suosivat chatbotin vastauksia lääkäreiden vastausten yli 78,6 prosentissa tapauksista, arvioiden niiden olevan 9,8 kertaa todennäköisemmin empaattisia. Yksi varauma kannattaa pitää mielessä: chatbotin vastaukset olivat keskimäärin 211 sanaa lääkäreiden 52 sanaa vastaan, ja suosio kutistui kun lääkärit kirjoittivat pidempään.

Samaan aikaan EmoBench¹⁵, vertailutesti joka on rakennettu vaatimaan tunnepäättelyä kaavojen ulkoa muistamisen sijaan, löytää yhä selvän kuilun mallien ja keskivertoihmisten välillä.

Molemmat löydökset voivat olla totta, koska tunteista tietäminen ja jonkun tunteen tietäminen ovat eri taitoja. Malli on lukenut mustasukkaisuudesta, surusta ja kiusallisista työpaikan anteeksipyynnöistä enemmän kuin yksikään elossa oleva ihminen. Siltä puuttuu konteksti siitä yhdestä ihmisestä, joka kirjoitti juuri tämän viestin.

Neljä ihmistä voi kirjoittaa samat sanat: “Onneksi olkoon. Olen iloinen puolestasi.” Yksi tarkoittaa sitä. Toinen kaunailee sinua. Kolmas on sydän särkyneenä ja yrittää olla rohkea. Neljäs on sarkastinen. Jokainen versio on ruudulla identtinen, joten mikään tekstimalli ei pysty erottamaan niitä, eikä pystyisi ihmisvieraskaan. Se tieto asuu sanojen ulkopuolella.

Konteksti tekee suurimman osan työstä

Otetaan vastaus “Selvä.”

Yksinään se voisi olla hyväksyntää, pettymystä, ärtymystä, välinpitämättömyyttä tai hiljaa sulkeutuvaa ovea. Laita se lauseen “Siirsit määräaikaa nyt kolmannen kerran” perään, ja tulkinta kapenee nopeasti. Sanassa ei muuttunut mikään. Kontekstissa muuttui.

Sarkasmitutkimus päätyy toistuvasti samaan johtopäätökseen: jopa ihmiset tarvitsevat usein ympäröivän keskustelun huomatakseen sarkastisen tarkoituksen¹⁶¹⁷, minkä takia uudemmat arvioinnit testaavat malleja kokonaisilla dialogeilla yksittäisten lauseiden sijaan. Käytännön sääntö mille tahansa sävytyökalulle seuraa suoraan tästä. Syötä sille ketju, suhde ja panokset. Yksittäisen viestin arvioiminen irrallaan on kuin pyytäisi mallia epäonnistumaan kohteliaasti.

Sävy on kulttuurisidonnaista, ja useimmat mallit kasvoivat amerikanenglannin parissa

Vuoden 2025 BESSTIE¹⁸ -vertailutesti testasi malleja sentimentissa ja sarkasmissa australian-, brittiläisen ja intianenglannin välillä. Suoritus oli johdonmukaisesti heikompi intianenglannissa, sarkasmin ollessa vaikein tapaus, ja mallit kamppailivat yleistämisessä murteesta toiseen.

Tulos vastaa arkikokemusta. “Kindly do the needful” lukee yhdellä tavalla intialaisessa ammattienglannissa ja toisella tavalla mallille, joka on kalibroitu amerikkalaisiin toimistonormeihin. 13 Berliinissä vietetyn vuoden jälkeen voin lisätä saksalaisen version: suoruus, joka täällä lasketaan kunnioitukseksi toisen aikaa kohtaan, voidaan leimata kylmäksi ohjelmistolla joka on kasvatettu amerikkalaiseen kohteliaisuuteen. Merkinnät kuten epäkohtelias, lämmin tai liian suora ovat kulttuurisia arvioita objektiivisuuden naamiossa. Sävytyökalu, joka jättää huomiotta kuka kirjoittaa kenelle ja missä kulttuurissa, tulee lukemaan väärin molemmat osapuolet, itsevarmasti.

Kasvontunnistus on siellä missä tunnetekoäly menetti otteensa

Kaikki edellä käsitelty koskee tekstiä. Tämän toimialan kasvoja skannaava haara on huonommassa maineessa, ja se muovaa sitä, miten sääntelijät nyt kohtelevat koko kategoriaa.

Vuonna 2019 psykologi Lisa Feldman Barrett kollegoineen kävi läpi yli tuhat tutkimusta¹⁹ ja päätyi siihen, ettei kasvojen liikkeistä voi luotettavasti päätellä miltä joku tuntuu. Ihmiset rypistävät kulmiaan keskittyessään, hymyilevät ahdistuneina ja itkevät häissä. Samana vuonna eräässä tutkimuksessa ajettiin 400 NBA-pelaajan kuvat kahden kaupallisen järjestelmän läpi ja havaittiin, että molemmat lukivat enemmän negatiivista tunnetta mustien pelaajien kasvoihin²⁰ kuin valkoisten pelaajien vastaaviin ilmeisiin.

Ala huomasi tämän. Microsoft poisti tunnepäättelyn Face API:staan²¹ vuonna 2022. HireVue luopui kasvoanalyysistä rekrytointiarvioinneissaan vuonna 2021 sen jälkeen kun digitaalisten oikeuksien järjestö EPIC jätti valituksen FTC:lle²². Tekstityökalut ovat eri teknologiaa, mutta ne perivät tämän epäluulon, ja ansaitsevat sen aina kun väittävät lukevansa sisäisiä tiloja sananvalinnan sijaan.

EU veti rajan, ja teksti jäi sen ulkopuolelle

Helmikuun 2. päivästä 2025 alkaen EU:n tekoälyasetuksen artikla 5(1)(f)²³ kieltää tekoälyn, joka päättelee ihmisten tunteita työpaikoilla ja kouluissa, ja sallii vain kapeat poikkeukset lääketieteellisiin ja turvallisuuskäyttöihin, kuten kuljettajan väsymyksen tunnistamiseen. Kiellettyjen käytäntöjen rikkomisesta voi seurata sakkoja jopa 7 prosenttia globaalista vuosiliikevaihdosta.

Laajuudella on väliä jokaiselle, joka rakentaa tai käyttää näitä työkaluja. Euroopan komission ohjeet sitovat kiellon biometriseen dataan²⁴: kasvot, äänet, näppäilydynamiikka, kehon asento. Järjestelmä, joka päättelee tunteita kirjoitetusta tekstistä, on nimenomaisesti kiellon ulkopuolella²⁵. Sen analysointi, miten sähköposti saattaa mennä perille, on laillista. Web-kameran suuntaaminen työntekijöihin heidän mielialansa pisteyttämiseksi on kielletty. Tuo raja seuraa tiedettä melko hyvin, ja Subtextille se kääntyy suunnittelurajoitteeksi, jonka olisimme valinneet joka tapauksessa: pelkkä teksti, ei biometriikkaa, ei työpaikkavalvontaa.

Mihin tämän päivän työkalut oikeasti kelpaavat

Grammarlyn sävyntunnistin²⁶ on selkein kuluttajaesimerkki, ja sen kehystys on hiljaisesti markkinoiden rehellisin. Se analysoi sananvalintaa, muotoilua, välimerkkejä ja isoja kirjaimia²⁶ kertoakseen, miltä viestisi todennäköisesti kuulostaa lukijasta, yli 40 sävyn valikoimalla. Todennäköisesti kuulostaa. Se sanamuoto tekee oikeaa tieteellistä työtä.

Googlen, Amazonin, Microsoftin ja IBM:n²⁷ pilvi-API:t on rakennettu volyymille: tukipyynnöille, arvosteluille, kyselyvastauksille. IBM lopetti erillisen Tone Analyzerinsa vuonna 2023 ja sulautti tunneanalyysin laajempaan kieliohjelmistoonsa. Nämä ovat oikeita työkaluja kysymykseen “miltä asiakkaista tuntuu kassaprosessimme” ja vääriä työkaluja kysymykseen “kuulostaako tekstini passiivis-aggressiiviselta”.

Yleiskäyttöiset kielimallit ovat kyvykkäin vaihtoehto henkilökohtaisiin viesteihin, koska ne osaavat käyttää kontekstia, käsitellä useita sävyjä kerralla ja selittää tulkintansa. Ne ovat myös huonoiten kalibroituja, joten kohtele mitä tahansa varmuusprosenttia fiiliksenä. Äänipuolella Hume AI²⁸ keräsi 50 miljoonan dollarin B-kierroksen vuonna 2024 mitatakseen äänen modulaatiota, enimmäkseen jotta äänikäyttöliittymät voisivat vastata sopivalla tahdilla ja sävyllä. Kapeampi käyttötarkoitus, ja puolustettavampi kuin väite piilotettujen tunteiden tunnistamisesta.

Miten tämä muovaa Subtextia

Se analysoi viestejä, joista ihmiset välittävät eniten: tekstiviestin pomoltasi, deittikumppanilta, äidiltäsi. Tutkimus ratkaisee, miten sen kuuluisi toimia.

Tuloksen pitää koskea vaikutelmaa. “Tämä saattaa vaikuttaa vähättelevältä” on väite, jota todisteet tukevat. “Hän on vihainen sinulle” on väite, jota ne eivät tue, ja ACL:n ensikäden tutkimus on siitä kuitti. Annamme myös viestien kantaa useita sävyjä kerralla, koska oikeat viestit tekevät niin. Lämmin ja puolusteleva on normaali yhdistelmä, ja uudemmat vertailutestit kohtelevat tunnetta juuri tästä syystä monimerkkisenä.

Todisteet voittavat tuomiot. Hyödyllinen työkalu osoittaa sanoja, jotka luovat vaikutelman, tapaan jolla “kuten jo selitin” tekee hiljaa raskaan työn jännittyneessä sähköpostissa, jotta voit päättää onko se vaikutelma se, jonka haluat. Epävarmuuskin pysyy näkyvissä. Kun viesti on moniselitteinen, moniselitteisyys on usein se tarkin löydös, ja sen pyöristäminen varmaksi merkinnäksi olisi väärää tarkkuutta. Konteksti tulee ensin: luemme mieluummin ketjun ja kysymme kuka vastaanottaja on, kuin arvioisimme tyhjässä avaruudessa leijuvaa lausetta, koska samat yhdeksän sanaa tarkoittavat eri asiaa esimiehelle ja määrittelemättömälle suhteelle.

Tämän kategorian rehellinen versio on pienempi kuin myyntiesitykset väittävät ja hyödyllisempi kuin skeptikot myöntävät. Mielenluku pysyy ulottumattomissa. Sananvalinnan lukeminen on saatavilla jo tänään, ja suurin osa kirjoitetun viestinnän vahingoista alkaa joka tapauksessa juuri sieltä. Se tuntui riittävän hyvältä syyltä rakentaa tämä.

---

Työskenteletkö jonkin näistä työkaluista parissa ja mielestäsi luin vertailutestisi väärin? Kerro minulle LinkedInissä.

Samet Durgun on Subtextin toinen perustaja, sovelluksen joka nappaa viestiesi tunnesävyn ja kirjoittaa ne uusiksi omalla äänelläsi. Hän asuu Berliinissä.

---

Lähteet

Jokainen yllä oleva linkki vie ensisijaiseen lähteeseen silloin kun sellainen on olemassa, numeroituna esiintymisjärjestyksessä. Kaksi merkintää on siteerattu ilman linkkiä, koska en pystynyt vahvistamaan niille vakaata verkko-osoitetta, ja kaksi viimeistä ovat lisälukemista eivätkä yllä esitettyjä väitteitä.

1. Google Cloud. Natural Language API basics: sentiment score and magnitude.
2. AWS. Amazon Comprehend: sentiment analysis.
3. Microsoft. Azure Language: sentiment analysis and opinion mining.
4. Chhaya et al. (2018). Frustrated, Polite, or Formal: Quantifying Feelings and Tone in Email. PEOPLES Workshop, NAACL 2018.
5. Demszky et al. (2020). GoEmotions: A Dataset of Fine-Grained Emotions. ACL 2020.
6. Wang et al. (2024). Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning. arXiv.
7. Rethinking Emotion Annotations in the Era of Large Language Models (2025).
8. Buechel and Hahn (2017). EmoBank, korpus joka on merkitty sekä kirjoittajan että lukijan näkökulmasta, ja “Readers vs. Writers vs. Texts,” Linguistic Annotation Workshop 2017.
9. Muhammad et al. (2025). SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Detection. SemEval 2025.
10. Li et al. (2025). Can Third Parties Read Our Emotions? ACL 2025.
11. Abu-Salih et al. (2023). Emotion detection of social data: APIs comparative study. Heliyon.
12. Schlegel, Sommer, and Mortillaro (2025). Large language models are proficient in solving and creating emotional intelligence tests. Communications Psychology.
13. Strachan et al. (2024). Testing theory of mind in large language models and humans. Nature Human Behaviour.
14. Ayers et al. (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine.
15. Sabour et al. (2024). EmoBench: Evaluating the Emotional Intelligence of Large Language Models. ACL 2024.
16. Feng et al. (2024). Affect Recognition in Conversations Using Large Language Models. SIGDIAL 2024.
17. Hazarika et al. (2018). CASCADE: Contextual Sarcasm Detection in Online Discussion Forums. COLING 2018.
18. Srirag et al. (2025). BESSTIE: A Benchmark for Sentiment and Sarcasm Classification for Varieties of English. Findings of ACL 2025.
19. Barrett et al. (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest.
20. Rhue (2019). Racial Influence on Automated Perceptions of Emotions. SSRN-työpaperi.
21. Microsoft (2022). Framework for building AI systems responsibly, jossa ilmoitettiin tunnepäättelyn poistamisesta Face API:sta.
22. EPIC. In re HireVue, FTC complaint (2019).
23. EU:n tekoälyasetus, Article 5: Prohibited AI Practices, sovellettu 2. helmikuuta 2025 alkaen.
24. Lewis Silkin (2025). Understanding the EU AI Act’s prohibited practices, on the Commission’s February 2025 guidelines.
25. Future of Privacy Forum (2026). Red Lines under the EU AI Act: the prohibition of emotion recognition in the workplace and education.
26. Grammarly. Tone detector product page ja how the tone detector works.
27. IBM. Watson Natural Language Understanding.
28. Hume AI.
29. Northeastern University (2021). You can’t determine emotion from someone’s facial movements, and neither can AI.
30. The Guardian (2024). Are you 80% angry and 2% sad? Why “emotional AI” is fraught with problems.