직접 보기기능리뷰블로그자주 묻는 질문로그인앱 다운로드

블로그글쓰기 도구

AI는 메시지가 어떻게 들릴지 짐작할 수 있어요. 당신이 실제로 뭘 느끼는지는 알 수 없고요.

정확도 수치, 훈련된 사람들조차 서로 다르게 판단하는 이유, 그리고 얼굴이나 목소리와 달리 텍스트를 다르게 다루는 새 EU 법을 정리했어요.

글 Samet Durgun · Subtext 공동 창업자 · 9분 읽기

저는 메시지를 읽고 어떻게 답할지 찾도록 도와주는 앱 Subtext를 함께 만들어요. 그러니 AI 어조 감지 연구를 파고든 데는 이기적인 이유가 있었어요. 벤치마크, ACL 논문, 심리학 쪽 비판, 그리고 이제 이 분야의 일부를 금지한 EU 법까지요.

짧게 말하면 두 문장으로 끝나요. 오늘날의 AI는 메시지가 읽는 사람에게 어떻게 다가갈지 예측하는 데는 능해요. 하지만 쓴 사람이 실제로 무엇을 느끼는지 믿을 만하게 알아낼 방법은 없어요. 아래 내용은 전부 이 두 문장 사이의 간극을 채우는 디테일이에요.

어조 감지는 사실 다섯 가지 다른 일이에요

이 표현은 하나의 기능처럼 들리지만, 그 안을 들여다보면 목록을 따라 내려갈수록 점점 더 어려워지는 별개의 문제들이 들어 있어요.

감정 극성(sentiment)은 쉬운 축에 속해요. 이 텍스트가 긍정적인지, 부정적인지, 중립적인지를 가리는 거니까요. 주요 클라우드 업체는 전부 이 기능을 팔아요. Google의 API1는 마이너스 1에서 플러스 1까지의 점수와 감정 강도를 나타내는 magnitude를 함께 돌려주고, Amazon Comprehend2는 텍스트를 긍정, 부정, 중립, 혼합으로 나누고, Microsoft의 Azure 서비스3는 측면 단위 의견 마이닝까지 더해서, 예를 들어 “앱은 정말 좋은데 고객지원은 별로였다” 같은 문장도 뭉뚱그려 평균 내지 않고 제대로 나눠줘요.

감정 인식은 그다음 단계예요. 분노, 기쁨, 두려움, 슬픔, 그리고 그 사촌뻘 감정들까지요. 뒤에 나올 숫자들이 보여주듯 이쪽이 더 어려워요.

대인관계의 어조는 집주인한테 문자 보낼 때 신경 쓰는 바로 그거예요. 따뜻하게 들리는지, 직설적인지, 방어적인지, 탓하는 것처럼 들리는지요. 연구자들은 이미 2018년부터4 업무 이메일에서 답답함, 격식, 공손함을 모델링하고 있었고, 이걸 하나의 감정 라벨이 아니라 각각 다른 차원으로 다뤘기 때문에 꽤 잘 작동했어요.

그다음엔 비꼬기와 서브텍스트가 오는데, 이건 단어보다 맥락에 좌우돼요. 맨 아래에는 쓴 사람의 사적인 감정 상태가 있는데, 마케팅이 가장 많이 암시하면서도 연구가 가장 적게 뒷받침하는 부분이에요.

그래서 어떤 제품 페이지가 어조를 감지한다고 말하면, 제 첫 질문은 이 다섯 가지 중 어느 걸 말하는 건지예요.

랜딩 페이지에는 절대 안 나오는 정확도 수치

텍스트의 세밀한 감정을 다루는 기준 데이터셋은 Google의 GoEmotions5예요. 58,000개의 레딧 댓글에 27가지 감정과 중립을 사람이 직접 라벨링했고, 2020년 ACL에서 발표됐어요. 여기 쓰인 BERT 베이스라인은 전체 라벨 기준 macro F1 0.46을 기록했어요. 이후 연구6는 더 강한 모델과 데이터 기법으로 이 수치를 대략 0.49에서 0.51까지 끌어올렸어요. 몇 년치 발전을 거쳤는데도, 최고의 전문 모델조차 세밀한 라벨의 상당 부분을 여전히 놓쳐요.

일반 챗봇에게 같은 28가지 분류를 시키면 그 벤치마크 점수는 파인튜닝된 소형 모델보다 훨씬 낮게 나와요. 자유형 모델이 분류 체계 밖의 라벨을 만들어내거나 테스트의 기준값에 맞춰 보정하지 않는 게 한 이유예요. 이것만 보면 꽤 치명적으로 들리지만, 2025년의 한 연구7에서 인간 심사자들이 데이터셋의 공식 라벨보다 GPT-4의 라벨을 더 자주 선택했다는 걸 알고 나면 얘기가 달라져요. 가끔은 모델이 벤치마크와 다르게 판단하는 게, 벤치마크 쪽이 더 약한 쪽이기 때문이기도 해요.

긍정과 부정을 크게 나누는 단순 분류는 전반적으로 훨씬 높은 점수를 받아요. 무너지는 지점은 정확히 흥미로운 구분이 사는 곳이에요. 짜증과 분노, 실망과 못마땅함 사이 같은 데서요.

사람들도 어조를 두고 서로 다르게 봐요

이 주제 전체를 다시 보게 만든 건, 사람을 확인해보면 벌어지는 일이었어요. GoEmotions 논문은 자체 인간 라벨러들 사이의 일치도를 보고하는데, 대부분의 감정에서 Cohen의 카파값은 대략 0.1에서 0.5 사이예요. 감사함은 0.75로 쉬운 편이에요. 슬픔은 0.09로, 거의 무작위로 라벨링한 수준에 가까워요. 훈련받은 사람들이 같은 문장을 읽고도 그게 실망을 나타내는지 못마땅함을 나타내는지 합의하지 못한다면, 그 라벨을 기준으로 0.46점을 받은 모델은 이미 그 과업 자체의 한계치에 바짝 붙어 있는 거예요.

더 깊이 들어가면, 애초에 우리가 측정하는 게 누구의 감정인지부터 문제예요. EmoBank8라는 데이터셋은 같은 문장을 두 번 주석 달았어요. 한 번은 쓴 사람의 관점에서, 한 번은 읽는 사람의 관점에서요. 이 둘이 서로 다른 변수라는 게 드러났거든요. 같은 연구팀은 2017년에 쓴 사람의 관점에서 주석을 달았을 때 전반적으로 품질이 더 좋았다는 걸 발견했어요. 그리고 7개 어족에 걸쳐 30개 이상의 언어를 다룬 대규모 SemEval 2025 감정 과제9는 의도적으로 인지된 감정을 목표로 삼아요. 일반 독자가 그 텍스트에 부여할 법한 감정이지, 쓴 사람이 속으로 느낀 감정이 아니라고 명시하고요.

가장 날카로운 테스트는 2025년에 나왔어요. ACL 연구10는 글쓴이 본인에게 자기 감정을 라벨링하게 한 다음, 외부의 사람들과 LLM에게 추측하게 했어요. 둘 다 글쓴이 본인의 보고에는 못 미쳤고, LLM은 낯선 사람들을 거의 전 영역에서 앞섰어요. 이 결과의 두 반쪽이 다 중요해요. AI는 이제 텍스트만으로 당신을 읽어내는 데 있어 무작위의 타인보다 낫지만, 그럼에도 당신이 실제로 느낀 걸 믿을 만하게 재구성하지는 못해요.

실무적으로 나오는 결론 하나는 이거예요. 2023년 Heliyon에 실린 한 비교 연구11는 상용 감정 API 여덟 개를 같은 데이터셋에 돌려봤는데, 서로 의견이 갈렸고 순위도 데이터셋마다 뒤바뀌었어요. 어떤 업체가 라벨과 데이터, 언어를 밝히지 않은 채 “정확도 95%의 감정 감지”를 내세운다면, 그 숫자는 그 주장의 무게를 감당할 수 없는 숫자예요.

모델은 감정 테스트는 잘 보면서도 정작 그 사람은 놓쳐요

언뜻 모순돼 보이는 두 연구 결과가 있는데, 각각 무엇을 측정했는지 나눠보면 얘기가 달라져요.

Communications Psychology에 실린 2025년 연구12에서는 ChatGPT-4, Gemini 1.5 Flash, Claude 3.5 Haiku, DeepSeek V3를 포함한 여섯 개 모델이 사람을 평가할 때 쓰는 표준 감성지능 검사 다섯 가지를 봤어요. 모델들은 평균 81%를 맞혔는데, 이 검사들의 타당화 연구에서 나온 인간 평균은 56%였어요. Nature Human Behaviour13에서는 GPT-4가 거짓 믿음 알아채기나 간접적인 요청 이해하기 같은 고전적인 마음이론 과제에서 인간과 비슷하거나 더 나은 점수를 냈어요. 다만 사회적 실수를 알아보는 데서는 헤맸고요. 그리고 JAMA Internal Medicine14에서는 면허를 가진 평가자들이 실제 환자 질문에 대한 답변을 읽고, 78.6%의 경우에서 의사보다 챗봇의 답을 선호했고, 공감적이라고 평가할 확률은 9.8배 더 높았어요. 다만 짚어둘 점 하나는, 챗봇 답변은 평균 211단어였던 데 비해 의사 답변은 52단어였고, 의사가 더 길게 쓸수록 그 선호 차이는 줄어들었다는 거예요.

한편 패턴 인식이 아니라 감정적 추론을 요구하도록 설계된 벤치마크인 EmoBench15에서는 모델과 평균적인 사람 사이에 여전히 뚜렷한 격차가 있어요.

이 두 결과가 동시에 참일 수 있는 건, 감정에 대해 아는 것과 어떤 사람의 감정을 아는 게 서로 다른 능력이기 때문이에요. 모델은 살아있는 그 어떤 사람보다도 질투와 슬픔, 어색한 직장 사과에 대한 글을 더 많이 읽었어요. 모델에게 없는 건 지금 이 메시지를 쓴 바로 그 사람에 대한 맥락이에요.

네 사람이 똑같은 말을 칠 수 있어요. “축하해. 나도 기뻐.” 한 사람은 진심이에요. 다른 한 사람은 속으로 서운해해요. 세 번째 사람은 마음이 무너졌지만 애써 씩씩한 척하는 거고요. 네 번째 사람은 비꼬는 거예요. 화면에서는 네 버전 모두 똑같기 때문에, 어떤 텍스트 모델도 이걸 구분할 수 없고 낯선 사람도 마찬가지예요. 그 정보는 단어 바깥에 살아요.

일의 대부분은 맥락이 해요

“알겠어.”라는 답장을 예로 들어볼게요.

이 말 하나만 보면 동의일 수도, 실망일 수도, 짜증일 수도, 무관심일 수도, 조용히 문을 닫는 것일 수도 있어요. “마감을 세 번째로 미뤘잖아”라는 말 뒤에 놓으면 해석의 폭이 순식간에 좁아져요. 단어는 하나도 안 바뀌었어요. 바뀐 건 맥락이에요.

비꼬기에 관한 연구는 계속 같은 결론에 도달해요. 사람조차 비꼬는 의도를 알아채려면 주변 대화가 필요할 때가 많다는 거예요1617. 그래서 최신 평가들은 문장 하나가 아니라 대화 전체를 놓고 모델을 테스트해요. 어떤 어조 도구든 여기서 실용적인 규칙이 바로 나와요. 대화 스레드와 관계, 걸려 있는 것까지 함께 넣어주세요. 메시지 한 개만 뚝 떼어 놓고 판단하게 하는 건, 모델에게 정중하게 실패하라고 요청하는 셈이에요.

어조는 문화적인데, 대부분의 모델은 미국식 영어를 보며 자랐어요

BESSTIE18라는 2025년 벤치마크는 호주식, 영국식, 인도식 영어에 걸쳐 감정 극성과 비꼬기를 테스트했어요. 성능은 인도식 영어에서 일관되게 더 나빴고, 비꼬기가 가장 어려운 경우였고, 모델은 한 변종에서 다른 변종으로 일반화하는 데 어려움을 겪었어요.

이 결과는 일상적인 경험과도 맞아떨어져요. “Kindly do the needful”이라는 표현은 인도식 업무 영어에서 읽히는 방식과, 미국식 사무실 규범에 맞춰 보정된 모델이 읽는 방식이 서로 달라요. 베를린에서 13년을 살아보니 저는 독일 버전도 하나 보탤 수 있어요. 여기서는 상대의 시간을 존중한다는 뜻인 직설적인 화법이, 미국식 예의범절 속에서 자란 소프트웨어에는 차갑다고 표시될 수 있어요. 무례하다, 따뜻하다, 너무 직설적이다 같은 라벨은 객관적인 겉옷을 입은 문화적 판단이에요. 누가 누구에게, 어떤 문화 안에서 쓰는지를 무시하는 어조 도구는 양쪽 모두를 자신 있게 잘못 읽어낼 거예요.

표정 읽기는 감정 AI가 갈피를 잃은 지점이에요

지금까지는 전부 텍스트 얘기였어요. 이 업계에서 얼굴을 스캔하는 갈래는 훨씬 험난한 기록을 갖고 있고, 그게 지금 규제 당국이 이 카테고리 전체를 다루는 방식에 영향을 미쳐요.

2019년, 심리학자 Lisa Feldman Barrett과 동료들은 1,000편이 넘는 연구를 검토19하고 나서, 표정만 보고 그 사람이 어떻게 느끼는지 믿을 만하게 추론할 수 없다는 결론을 내렸어요. 사람들은 집중할 때 얼굴을 찌푸리고, 불안할 때 웃고, 결혼식에서 울어요. 같은 해에 진행된 한 연구는 NBA 선수 400명의 사진을 상용 시스템 두 개에 돌렸는데, 비슷한 표정에서도 두 시스템 다 흑인 선수의 얼굴에서 더 부정적인 감정을 읽어냈다20는 걸 확인했어요. 백인 선수보다요.

업계도 이걸 알아챘어요. Microsoft는 2022년에 Face API에서 감정 추론 기능을 없앴어요21. HireVue는 디지털 권리 단체 EPIC이 FTC에 진정을 제기한22 뒤인 2021년에 채용 평가에서 표정 분석을 뺐고요. 텍스트 도구는 다른 기술이지만 이런 회의를 물려받고, 단어가 아니라 내면 상태를 읽어낸다고 주장할 때마다 그 회의를 자초해요.

EU는 선을 그었고, 텍스트는 그 밖에 있어요

2025년 2월 2일부터 EU AI 법의 제5조 1항 (f)23는 직장과 학교에서 사람의 감정을 추론하는 AI를 금지해요. 운전자 피로 감지 같은 의료·안전 용도에는 좁은 예외만 둬요. 이 금지 조항을 어기면 전 세계 연매출의 최대 7%까지 벌금을 물 수 있어요.

이 도구를 만들거나 쓰는 사람이라면 그 적용 범위가 중요해요. 유럽연합 집행위원회의 가이드라인은 이 금지를 생체 데이터에 묶어놔요24. 얼굴, 목소리, 타이핑 리듬, 몸의 자세 같은 것들이요. 글로 쓴 텍스트에서 감정을 추론하는 시스템은 명시적으로 이 금지 대상에서 빠져요25. 이메일이 어떻게 가닿을지 분석하는 건 합법이에요. 직원에게 웹캠을 들이대서 기분을 점수 매기는 건 금지고요. 이 선은 과학이 보여주는 것과 꽤 잘 맞아떨어져요. Subtext에게 이건 저희가 어차피 선택했을 설계 제약으로 옮겨져요. 텍스트만 다루고, 생체 정보는 다루지 않고, 직장 감시도 하지 않는다는 것요.

오늘날의 도구들이 잘하는 것

Grammarly의 어조 감지 기능26은 가장 알기 쉬운 소비자용 사례고, 그 표현 방식은 조용히 시장에서 가장 정직한 편이에요. 단어 선택, 문장 표현, 구두점, 대문자 사용26을 분석해서 40가지가 넘는 어조에 걸쳐 당신의 메시지가 읽는 사람에게 어떻게 들릴 것 같은지를 알려줘요. “들릴 것 같은지.” 이 표현이 실제로 과학적인 일을 하고 있어요.

Google, Amazon, Microsoft, IBM27의 클라우드 API들은 대량 처리를 위해 만들어졌어요. 고객 지원 티켓, 리뷰, 설문 응답 같은 것들이요. IBM은 2023년에 독립형 Tone Analyzer를 없애고 감정 기능을 더 넓은 언어 제품 안으로 흡수시켰어요. 이런 도구들은 “고객이 우리 결제 과정을 어떻게 느끼는가”에는 딱 맞고, “내 문자가 수동공격적으로 들리는가”에는 안 맞는 도구예요.

개인 메시지에는 일반 LLM이 가장 유능한 선택지예요. 맥락을 활용하고, 여러 어조를 한꺼번에 다루고, 자기 판단을 설명할 수 있으니까요. 동시에 보정은 가장 안 돼 있는 축이라, 어떤 확신도든 그냥 분위기 정도로 받아들이는 게 맞아요. 음성 쪽에서는 Hume AI28가 2024년에 5,000만 달러 규모의 시리즈 B를 유치해서 음성 변조를 측정하고 있는데, 주로 음성 인터페이스가 알맞은 속도와 어조로 반응하게 하려는 목적이에요. 숨은 감정을 감지한다고 주장하는 것보다 더 좁고, 더 방어할 수 있는 용도예요.

이게 Subtext를 어떻게 만들어가는지

Subtext는 사람들이 가장 신경 쓰는 메시지를 분석해요. 상사가, 소개팅 상대가, 엄마가 보낸 문자 같은 것들요. 그게 어떻게 작동해야 하는지는 이 연구가 정리해줘요.

결과물은 인식에 관한 것이어야 해요. “이건 무시하는 것처럼 들릴 수 있어요”는 근거가 뒷받침하는 주장이에요. “그 사람은 당신한테 화가 났어요”는 근거가 뒷받침하지 않는 주장이고, 앞서 나온 ACL의 1인칭 연구가 그 증거예요. 저희는 메시지 하나가 여러 어조를 동시에 지니도록 두기도 해요. 실제 메시지가 그러니까요. 따뜻하면서 방어적인 것도 흔한 조합이고, 최신 벤치마크들이 감정을 다중 라벨로 다루는 것도 바로 이 이유예요.

판결보다 근거가 나아요. 쓸모 있는 도구는 인상을 만들어내는 바로 그 단어를 짚어줘요. “이미 설명드렸다시피” 같은 표현이 긴장된 이메일 안에서 조용히 무거운 일을 하고 있는 식으로요. 그래야 그 인상이 당신이 원하는 것인지 스스로 판단할 수 있으니까요. 불확실함도 그대로 보이게 둬요. 메시지가 애매하다면 그 애매함 자체가 가장 정확한 발견일 때가 많고, 그걸 자신 있는 라벨로 뭉뚱그리는 건 가짜 정밀함이에요. 맥락이 먼저예요. 저희는 허공에 뜬 문장 하나에 점수를 매기느니 차라리 대화 스레드를 읽고 받는 사람이 누구인지 물어보는 쪽을 택해요. 똑같은 아홉 단어도 상사에게 하는 말이냐 아직 정체가 애매한 썸 상대에게 하는 말이냐에 따라 뜻이 달라지니까요.

이 카테고리의 솔직한 버전은 피치덱보다는 작고, 회의론자들이 인정하는 것보다는 쓸모 있어요. 마음을 읽는 건 여전히 손에 닿지 않는 곳에 있어요. 단어를 읽는 건 지금도 가능하고, 어차피 글로 된 소통에서 벌어지는 문제의 대부분은 거기서 시작되니까요. 저는 그거면 만들 이유로 충분하다고 느꼈어요.

이런 도구 중 하나를 직접 만들고 있고, 제가 당신의 벤치마크를 잘못 읽었다고 생각하신다면, 그 얘기를 꼭 듣고 싶어요. LinkedIn에서 찾아주세요.

Samet Durgun은 Subtext의 공동 창업자예요. 메시지에 담긴 감정의 어조를 잡아내서 당신다운 말투로 다시 써주는 앱을 만들어요. 베를린에 살아요.

출처

위의 링크는 1차 출처가 있는 경우 모두 그쪽으로 연결되고, 등장한 순서대로 번호를 매겼어요. 두 항목은 안정적인 URL을 확인하지 못해 링크 없이 인용했고, 마지막 두 개는 본문에서 주장한 내용이 아니라 더 읽어볼 자료예요.

  1. Google Cloud. Natural Language API basics: sentiment score and magnitude.
  2. AWS. Amazon Comprehend: sentiment analysis.
  3. Microsoft. Azure Language: sentiment analysis and opinion mining.
  4. Chhaya 외 (2018). Frustrated, Polite, or Formal: Quantifying Feelings and Tone in Email. PEOPLES Workshop, NAACL 2018.
  5. Demszky 외 (2020). GoEmotions: A Dataset of Fine-Grained Emotions. ACL 2020.
  6. Wang 외 (2024). Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning. arXiv.
  7. Rethinking Emotion Annotations in the Era of Large Language Models (2025).
  8. Buechel and Hahn (2017). EmoBank, 쓴 사람과 읽는 사람 두 관점에서 각각 주석을 단 코퍼스, 그리고 “Readers vs. Writers vs. Texts,” Linguistic Annotation Workshop 2017.
  9. Muhammad 외 (2025). SemEval-2025 Task 11: Bridging the Gap in Text-Based Emotion Detection. SemEval 2025.
  10. Li 외 (2025). Can Third Parties Read Our Emotions? ACL 2025.
  11. Abu-Salih 외 (2023). Emotion detection of social data: APIs comparative study. Heliyon.
  12. Schlegel, Sommer, and Mortillaro (2025). Large language models are proficient in solving and creating emotional intelligence tests. Communications Psychology.
  13. Strachan 외 (2024). Testing theory of mind in large language models and humans. Nature Human Behaviour.
  14. Ayers 외 (2023). Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Internal Medicine.
  15. Sabour 외 (2024). EmoBench: Evaluating the Emotional Intelligence of Large Language Models. ACL 2024.
  16. Feng 외 (2024). Affect Recognition in Conversations Using Large Language Models. SIGDIAL 2024.
  17. Hazarika 외 (2018). CASCADE: Contextual Sarcasm Detection in Online Discussion Forums. COLING 2018.
  18. Srirag 외 (2025). BESSTIE: A Benchmark for Sentiment and Sarcasm Classification for Varieties of English. Findings of ACL 2025.
  19. Barrett 외 (2019). Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements. Psychological Science in the Public Interest.
  20. Rhue (2019). Racial Influence on Automated Perceptions of Emotions. SSRN 워킹페이퍼.
  21. Microsoft (2022). Framework for building AI systems responsibly, Face API에서 감정 추론 기능을 없앤다고 알린 발표.
  22. EPIC. In re HireVue, FTC complaint (2019).
  23. EU AI Act, Article 5: Prohibited AI Practices, 2025년 2월 2일부터 적용.
  24. Lewis Silkin (2025). Understanding the EU AI Act’s prohibited practices, on the Commission’s February 2025 guidelines.
  25. Future of Privacy Forum (2026). Red Lines under the EU AI Act: the prohibition of emotion recognition in the workplace and education.
  26. Grammarly. Tone detector product page 그리고 how the tone detector works.
  27. IBM. Watson Natural Language Understanding.
  28. Hume AI.
  29. Northeastern University (2021). You can’t determine emotion from someone’s facial movements, and neither can AI.
  30. The Guardian (2024). Are you 80% angry and 2% sad? Why “emotional AI” is fraught with problems.