In recent years, affective AI has expanded rapidly into areas that carry significant human consequences—recruitment screening, content moderation, mental health support, and educational assessment.
Yet much of the debate still revolves around a narrow question: How accurate is the model?
This question is insufficient.
In domains involving high-inference psychological constructs—such as emotions, motivations, or defense mechanisms—accuracy alone cannot guarantee epistemic or ethical validity. The more pressing issue is whether we can trace, inspect, and contest the grounds on which an AI system produces its judgments.
The real problem: invisible inference
Most affective NLP systems rely on large, implicitly annotated datasets. Labels are often treated as ground truth, even when they encode interpretations rather than observable facts. As a result, models may appear performant while their underlying inferential logic remains opaque.
This opacity becomes critical when models move from detecting signals to attributing psychological meaning.
To classify sadness is not the same as attributing denial.
To predict sentiment is not the same as inferring a defensive structure.
The latter involves interpretation. And interpretation is a form of power.
A theory-grounded alternative
In a recent peer-reviewed study published in Machine Learning with Applications (Elsevier), I introduced DefMoN (Defensive Motivational Node)—a framework designed to make this interpretive layer explicit and auditable.
Rather than treating psychological labels as post-hoc annotations, DefMoN embeds psychological theory directly into the data generation process. Defense mechanisms (following established clinical taxonomies) and motivational emotions (based on Plutchik’s model) are implemented as explicit constraints at the point of generation.
The objective is not to “improve accuracy at all costs,” but to ensure that what the model learns can be traced back to theoretically defined assumptions.
What DefMoN is—and is not
DefMoN provides:
A reproducible, theory-constrained method for generating synthetic text
Explicit guardrails to reduce construct drift and label leakage
Publicly released data, code, and evaluation artifacts for inspection and replication
DefMoN does not claim:
To diagnose psychological states
To support automated decisions about individuals
To replace clinical or human judgment
It is a research and auditing framework, not a decision-making tool.
Why this matters now
As emotional and psychological inferences are increasingly automated, we face a governance gap. Models are deployed faster than our ability to explain or contest their outputs. In such contexts, performance metrics alone are inadequate.
What we need are systems whose interpretive commitments are visible—systems that can be examined, challenged, and constrained before they are trusted.
DefMoN represents one attempt to establish such a baseline.
The central question for affective AI, then, is no longer “How accurate is the model?”
It is: “Under what assumptions is this interpretation being made
—and who has the right to contest it?”
Reference
Ryan SangBaek Kim. DefMoN: A reproducible framework for theory-grounded synthetic data generation in affective AI.
Machine Learning with Applications, Elsevier.
DOI: https://doi.org/10.1016/j.mlwa.2025.100817
한국어
정확도가 문제가 아니다:
감정 AI에 필요한 것은 성능 향상이 아니라 ‘감사가능성’이다
최근 감정 AI는 채용, 콘텐츠 조정, 정신건강 지원, 교육 평가 등 인간의 삶에 직접적인 영향을 미치는 영역으로 빠르게 확장되고 있다.
그러나 논의의 초점은 여전히 하나의 질문에 머문다.
모델의 정확도는 얼마나 높은가?
이 질문은 충분하지 않다.
정서, 동기, 방어기제와 같은 고추론 심리 구성개념을 다루는 영역에서 정확도만으로는 인식론적·윤리적 정당성을 확보할 수 없다. 더 중요한 문제는 AI가 어떤 근거로 그런 판단에 도달했는지를 추적·점검·이의제기할 수 있는가이다.
보이지 않는 추론의 문제
대부분의 감정 NLP 시스템은 암묵적으로 주석된 대규모 데이터셋에 의존한다. 이러한 라벨은 관찰 가능한 사실이라기보다 해석에 가깝지만, 종종 정답처럼 취급된다. 그 결과 모델은 높은 성능을 보이면서도, 그 판단의 논리는 불투명한 상태로 남는다.
이 불투명성은 모델이 단순 신호 감지를 넘어 심리적 의미를 귀속하기 시작할 때 치명적이 된다.
슬픔을 분류하는 것과
‘부인(denial)’이라는 방어기제를 귀속하는 것은 전혀 다르다.
후자는 해석이며, 해석은 곧 권력이다.
이론을 데이터 단계로 가져오다
나는 최근 Elsevier의 Machine Learning with Applications에 게재된 논문에서 DefMoN(Defensive Motivational Node)이라는 프레임워크를 제안했다.
이 연구의 목적은 감정 AI의 해석 단계를 명시적이고 감사 가능한 구조로 드러내는 것이다.
DefMoN은 심리학 이론을 사후 설명으로 두지 않는다.
방어기제 체계와 Plutchik의 동기 정서를 데이터 생성 규칙 자체에 제약 조건으로 구현한다.
목표는 정확도를 극대화하는 것이 아니라, 모델이 무엇을 학습하는지 그 가정을 이론적으로 추적 가능하게 만드는 것이다.
DefMoN의 범위
DefMoN은 다음을 제공한다.
이론 제약 기반의 재현 가능한 합성 데이터 생성
구성개념 이탈과 라벨 누출을 줄이기 위한 가드레일
공개 데이터·코드·평가 산출물
그러나 DefMoN은 다음을 주장하지 않는다.
개인의 심리 상태 진단
개인에 대한 자동 의사결정 지원
인간 판단의 대체
이는 연구·감사를 위한 방법론적 프레임워크이지, 결정 도구가 아니다.
지금 이 논의가 중요한 이유
감정과 심리에 대한 자동 추론이 늘어날수록, 우리는 새로운 공백에 직면한다. 모델은 빠르게 배치되지만, 그 판단을 설명하거나 다툴 수 있는 제도적 장치는 부족하다.
이런 환경에서 성능 지표만으로는 충분하지 않다.
필요한 것은 해석의 전제가 드러나는 시스템,
신뢰되기 전에 점검되고 제한될 수 있는 구조다.
DefMoN은 그 최소 기준을 제시하려는 하나의 시도다.
이제 감정 AI의 핵심 질문은 더 이상
“얼마나 정확한가?”가 아니다.
이 해석은 어떤 가정 위에서 이루어졌으며, 누가 이를 이의제기할 권리를 갖는가?”다.