인간의 마음이 AI의 환경이 되고 있습니다
인간을 해석한 AI가 그 인간을 변화시키고, 자신이 만든 변화마저 정확성의 증거로 삼는 구조
“지금 느끼는 것은 피로가 아니라 회피입니다.”
화면에 나타난 이 문장은 맞을 수 있습니다. 미처 알아차리지 못한 마음에 언어를 부여하고, 오래 미뤄 온 일을 시작하게 만들 수도 있습니다.
그러나 틀릴 수도 있습니다. 쉬어야 할 사람에게 의지의 문제를 돌려주고, 정당한 망설임을 두려움으로 바꾸며, 아직 정리되지 않은 경험에 너무 이른 이름을 붙일 수 있습니다.
더 근본적인 문제는 그 판단의 정확성만이 아닙니다.
사람은 자신의 마음에 관한 설명을 받아들인 뒤에도 이전과 같은 상태로 남아 있지 않기 때문입니다. “나는 회피하고 있다”는 문장을 읽은 사람은 지난 행동을 새롭게 배열하고, 기억의 일부를 그 설명에 맞춰 불러내며, 다음 선택을 달리할 수 있습니다. 처음에는 외부에서 주어진 해석이었지만 시간이 지나면 자기소개가 되고, 행동의 이유가 되며, 때로는 삶의 경계가 됩니다.
인터넷에 떠도는 “우울증 테스트”, “나는 HSP일까”, “번아웃 지수”, “성인 ADHD 체크리스트”에서도 이 과정의 초기 형태를 볼 수 있습니다. 사람은 몇 개의 문항에 답하고 점수를 받지만, 화면을 닫은 뒤 가져가는 것은 종종 점수가 아니라 자신의 이름입니다.
그 이름을 얻은 순간부터 과거의 산만함과 피로, 관계의 상처와 감각의 예민함이 하나의 설명 아래 다시 배열됩니다. 관련 영상과 게시물이 추천되고, 같은 이름 아래 모인 온라인 커뮤니티와 소모임에서는 경험을 말하는 어휘뿐 아니라 무엇을 증상으로 읽고 어떤 행동을 자연스럽다고 여길 것인지까지 공유됩니다. 그곳은 고통을 처음 이해받는 장소가 될 수 있습니다. 동시에 하나의 해석이 반복되고 정교해지면서 다른 가능성을 밀어내는 공간이 될 수도 있습니다.
몇 달 뒤 그 사람의 자기보고와 생활방식은 최초의 검사 결과에 더 가까워질 수 있습니다. 처음의 이름이 이미 존재하던 상태를 정확히 발견했기 때문일 수도 있습니다. 그러나 그 이름을 중심으로 주의와 기억, 관계와 행동이 재조직되었기 때문일 수도 있습니다. 실제 삶에서는 두 과정이 함께 일어납니다.
온라인 자가검사가 이름을 건네는 데 머물렀다면, Mental AI는 그 이름에 맞춰 대화를 바꾸고 콘텐츠를 배열하며 선택지를 조정합니다. 라벨링이 개인화된 개입과 결합되는 순간, 자기해석의 변화는 플랫폼의 다음 판단을 위한 새로운 자료가 됩니다.
AI는 마음을 관찰한 데서 멈추지 않습니다. 자신이 관찰했다고 말한 대상을 변화시킵니다.
우리가 놓치고 있던 질문
지금까지 우리는 주로 AI에게 마음이 있는지를 물었습니다. 기계가 감정을 느끼는가, 의식을 가질 수 있는가, 타인의 생각을 이해하는가를 논쟁했습니다.
그 질문들이 계속되는 동안 더 직접적인 변화가 이미 일어나고 있습니다.
인간의 마음이 AI가 판단하고 개입하며 결과를 수집하는 작동환경이 되고 있습니다.
상담형 챗봇은 사용자의 불안과 회피를 추정합니다. 교육 시스템은 집중도와 학습 의지를 판단합니다. 채용과 조직관리 도구는 동기, 성향, 소진 가능성을 분류합니다. 추천 시스템은 외로움이나 취약성이 드러나는 순간을 포착해 다음 콘텐츠를 배열합니다.
이러한 판단은 화면 속 점수로 머물지 않습니다. 대화의 방향과 노출되는 정보, 제공되는 기회, 한 사람에게 부여되는 관심과 신뢰를 바꿉니다. 추론이 추천과 응답, 평가와 배분으로 이어지는 순간, AI의 판단은 인간을 묘사하는 정보에서 인간에게 작용하는 원인으로 이동합니다.
감정 컴퓨팅, 정신건강 AI, 기계 마음이론, 설득 기술, 알고리즘적 의사결정, AI가 매개하는 자기형성에 관한 연구는 이미 축적되어 있습니다. 그러나 이 작업들은 서로 다른 분야와 평가 체계 속에 분산되어 있습니다.
한 분야는 감정을 얼마나 정확히 분류하는지 묻고, 다른 영역은 대화가 증상을 완화하는지 측정합니다. 또 다른 연구는 공정성이나 설명 가능성을 검토합니다. 개별 질문은 정교해졌지만, 이 시스템들이 공유하는 하나의 인과구조는 독립된 연구대상으로 정립되지 않았습니다.
Mental AI라는 인과범주
저는 최근 논문에서 이 공통 구조를 Mental AI라는 하나의 인과범주로 정립했습니다.
Mental AI는 인간과 대화하는 모든 AI를 뜻하지 않습니다. 정신건강 분야에서 사용된다는 이유만으로 포함되는 것도 아니며, 감정이나 성격을 분류하는 모든 모델을 가리키지도 않습니다.
세 가지 조건이 함께 성립해야 합니다.
첫째, 정신상태 추론입니다.
AI가 감정, 의도, 신념, 동기, 취약성, 주의, 자기개념처럼 인간의 정신적 삶에 관한 무엇인가를 추론해야 합니다.
둘째, 운영적 사용입니다.
그 추론이 추천, 응답, 평가, 개입, 기회 배분과 같은 실제 작동에 사용되어야 합니다.
셋째, 재귀적 결과입니다.
그 작동의 결과가 당사자의 자기이해, 표현, 행동, 관계 또는 제도적 기록에 되돌아오는 경로가 존재해야 합니다.
정신상태 추론. 운영적 사용. 재귀적 결과.
이 세 조건이 결합되면 AI는 인간의 마음을 외부에서 측정하는 도구에 머물지 않습니다. 인간 정신의 이후 상태를 구성하는 행위자가 됩니다.
Mental AI는 특정 산업이나 제품군의 이름이 아닙니다. 생성형 AI 또는 에이전틱 AI를 대체하는 세대 구분도 아닙니다. 무엇을 생성하는가, 얼마나 자율적으로 행동하는가가 아니라, 인간 정신에 관한 추론이 어떤 경로를 거쳐 다시 그 정신적 삶에 개입하는가를 판별하는 개념입니다.
정확도가 높아졌다는 말의 함정
어떤 시스템이 한 사람을 “사회적으로 철회할 가능성이 높은 사용자”로 분류했다고 가정해 보겠습니다.
그 판단에 따라 대화의 어조가 달라집니다. 도전적인 활동보다 안전한 선택이 반복해서 제시되고, 새로운 사람과 연결될 기회는 줄어듭니다. 시스템은 사용자의 짧은 반응과 낮은 참여를 계속 수집합니다.
몇 주 뒤, 축적된 행동은 최초의 판단과 더 높은 일치도를 보입니다.
그렇다면 첫 추론은 처음부터 정확했던 것일까요.
그럴 수 있습니다. 그러나 시스템이 자신의 판단과 일치하는 행동을 일부 만들어냈을 가능성도 있습니다. 사용자가 AI의 언어를 받아들이면서 자기보고의 기준을 바꾸었을 수도 있습니다. 관찰 대상과 측정 도구, 후속 증거가 하나의 고리 안에서 서로를 변화시킨 것입니다.
AI의 해석이 인간을 바꾸고, 변화한 인간이 다시 최초 해석의 정답지가 됩니다.
AI가 자신의 정답을 만들어낼 때
저는 이 문제를 post-deployment criterion endogeneity, 즉 배포 이후의 평가 기준 내생성이라고 명명했습니다.
모델의 출력이 현실에 개입하고, 그 개입으로 형성된 자료가 다시 모델의 정확성을 평가하는 기준으로 사용되는 구조입니다.
이 현상은 모든 Mental AI에서 동일하게 발생하지 않습니다. 추론이 당사자에게 전달되지 않거나, 후속 자료가 독립적으로 수집되거나, 외부 기준을 통해 판단을 검증한다면 인과고리는 약해집니다.
반대로 AI의 해석이 자기보고와 행동, 관계, 제도적 기록을 바꾸고, 그 자료가 다시 검증에 사용된다면 평가 기준은 모델의 영향으로부터 독립적이지 않습니다.
배포 후 일치도가 높아졌다는 사실만으로는 세 가지 가능성을 구별할 수 없습니다. AI가 인간을 더 잘 알게 된 것인지, 인간이 AI의 판단에 가까워진 것인지, 무엇을 정답으로 간주하는 기준 자체가 이동한 것인지 분리해야 합니다.
이는 철학적 우려를 넘어선 연구 설계의 문제입니다.
Mental AI의 성능을 검증하려면 자기보고와 플랫폼 내부 자료를 반복해서 비교하는 것만으로는 부족합니다. 시스템의 해석에 노출되지 않은 외부 평가, 배포 전 기준선, 지연 측정, 개입을 제거한 조건, 당사자의 이의제기 기록이 함께 필요합니다.
모델이 무엇을 발견했는지만이 아니라, 무엇을 만들어냈는지도 측정해야 합니다.
도움과 지배를 가르는 기준
AI의 해석은 자신을 이해하지 못해 고통받던 사람에게 언어를 제공할 수 있습니다. 감정의 차이를 구별하게 하고, 도움을 요청할 시점을 알려주며, 혼자서는 발견하기 어려웠던 반복을 드러낼 수 있습니다. 그런 지원은 인간의 판단을 축소하지 않고 오히려 확장합니다.
도움과 지배를 가르는 것은 기술의 존재가 아니라 해석 권한의 배치입니다.
한 번 내려진 판단을 거부할 수 있는가.
결론을 내리지 않은 채 유예할 수 있는가.
잘못된 해석을 수정하고, 그 정정이 이후 판단에도 반영되게 할 수 있는가.
플랫폼 내부의 점수와 충돌하는 외부 증거를 제출할 수 있는가.
정신적 분류가 어느 기관과 영역으로 이동했는지 확인할 수 있는가.
인간의 마음이 AI의 작동환경이 되었다면, 사람에게는 그 안에서 내려진 해석을 거부하고, 유예하고, 재정의하며, 외부 증거로 다툴 실질적 권한이 있어야 합니다.
제가 감정주권 연구에서 제시해 온 거부, 유예, 재정의, 이의제기의 역량은 여기서 추상적인 존엄의 언어에 머물지 않습니다. Mental AI의 설계와 검증, 규율을 결정하는 운영 원칙이 됩니다.
누가 변화한 인간을 증거로 삼는가
AI가 인간보다 마음을 더 정확하게 읽을 수 있는지가 최종 질문은 아닙니다. 어떤 순간에는 그럴 수 있고, 다른 순간에는 실패할 것입니다.
핵심은 그 해석이 실제로 사용된 뒤에 발생합니다.
누가 그 판단의 결과를 감당하며, 변화한 인간을 다시 누구의 정확성에 대한 증거로 삼을 것인가.
Mental AI는 상담, 교육, 노동, 플랫폼, 복지와 의료에 흩어져 있던 시스템들을 하나의 검증 가능한 인과구조로 통합합니다.
제가 정립한 이 범주는 정신상태 추론, 운영적 사용, 재귀적 결과라는 세 조건을 통해 무엇이 Mental AI이고 무엇이 아닌지를 구분합니다. 이 조건을 충족하는 순간, 해당 시스템은 더 이상 예측 정확도만으로 평가될 수 없습니다.
AI의 판단이 인간에게 어떤 변화를 일으켰는지, 그 변화가 다시 최초 판단의 증거로 사용되었는지, 평가 기준 자체가 이동했는지를 함께 검증해야 합니다.
새 논문 「Mental AI: Post-Deployment Criterion Endogeneity in the Causal Loop of Human Mental Life」는 Mental AI를 독립된 인과범주로 정립하고, 그 작동을 판별할 반증 가능한 명제와 실험 설계를 제시합니다.
현재 동료심사 전 단계인 이 연구는 하나의 결론을 선언하는 데서 끝나지 않습니다. 인간 정신에 관한 AI의 판단이 관찰에서 개입으로, 묘사에서 원인으로 이동한 시대에 필요한 새로운 연구 프로그램을 엽니다.
우리가 AI에게 마음이 생겼는지를 묻는 동안,
인간의 마음은 이미 AI의 환경이 되고 있습니다.
논문
Ryan SangBaek Kim
“Mental AI: Post-Deployment Criterion Endogeneity in the Causal Loop of Human Mental Life.”
Preprint, 2026.