GPT-6 Remembers You. But Who Owns Your Emotions?
GPT-6는 당신을 기억한다. 그러나 감정은 누구의 것인가?
“This essay is presented first in English, followed by the original Korean version.
“이 글은 먼저 영어로, 이어서 한국어 원문으로 실립니다.
Recently, Sam Altman (CEO of OpenAI) announced the release plan for the next-generation AI model, GPT-6, presenting a new direction for AI-human interaction. What stood out most in his remarks was not only the accelerated development schedule but also the introduction of “memory” as a core capability. Just weeks after the launch of GPT-5, development on GPT-6 began immediately, with the promise of releasing it on a much faster timeline than previous transitions. This appears to be a response to user feedback that GPT-5 felt “colder and less helpful” compared to GPT-4. In fact, Altman acknowledged that GPT-5’s tone was promptly adjusted to be “warmer,” and he emphasized that GPT-6 would from the outset place personalized tone and character adjustment at its core.
The most essential innovation of GPT-6 is its capacity to adapt to individual users. Altman explained, “GPT-6 is not merely a model that responds to prompts—it is a model that changes in accordance with each user.” More concretely, AI will remember and learn a user’s preferences, routines, mannerisms, and even minor habits through repeated interactions. For example, if you have a daily morning exchange with the AI, GPT-6 will retain that pattern and incorporate it into subsequent conversations. Furthermore, OpenAI is conducting experiments in collaboration with psychologists to measure and track a user’s emotional state and well-being. This means GPT-6 will be designed to detect shifts in mood during interaction and, when necessary, adjust its tone or content accordingly. Although these affective tracking studies have not yet been made public, Altman emphasized that the ultimate goal is to build an AI aligned with user happiness.
Another notable aspect is the personalization of response tone. GPT-6 will comply with U.S. executive orders (introduced during the Trump administration) requiring political neutrality as the default, while allowing users to adjust the AI to match their own orientations. Altman remarked that “the default stance will be middle,” but users could modify the system to take on more conservative or progressive positions if they wish. He even suggested that if someone wanted GPT-6 to adopt a “fully woke” tone—or the opposite—the AI would accommodate. In other words, GPT-6 declares the possibility that not only its responses but even its tone and values can be tailored to the user’s preferences.
These announcements reflect the current trajectory of the AI industry. Chatbots are no longer confined to providing uniform answers to all users; they are evolving toward acting more like friends or advisors. After GPT-5’s release, some users reported emotional attachment to GPT-4, saying they missed their old “companion” more than they appreciated the upgrade. Some even referred to AI as a “digital spouse,” while others used ChatGPT as a counselor or life coach. Altman himself acknowledged this phenomenon, noting both the fascination and the concern about how increasing reliance on AI might shape people’s emotions and perception of reality.
In short, the personalization and emotional-tracking capabilities of GPT-6 signal that AI is moving one step closer into the intimacy of people’s lives. We will soon encounter a presence in conversation that not only responds but remembers and understands us—a prospect both fascinating and unsettling.
What It Means for AI to “Remember” You
The “memory” function of GPT-6—the ability to accumulate long-term, user-specific context and information—is indeed a remarkable technical advance. AI is now attempting to remember not just conversation threads but the person. When a machine recalls my preferences and refers back to yesterday’s dialogue in shaping today’s response, I may feel a new kind of intimacy. Just as a friend’s remembering deepens trust and bonds, AI mimics human continuity through memory. As Altman noted, GPT-6’s ability to retain “preferences, routines, and even small quirks” could transform AI into a genuine personal partner, giving users a sense of continuity and trust.
Yet for AI to have memory implies more than convenience. It directly raises questions of privacy and ownership. The “memory of me” that AI stores is in fact my data. It accumulates fine-grained details of when I am joyful, what angers me, which words I favor, and what convictions I hold. Who, then, is the rightful owner of this emotional and dispositional data? Reports suggest that GPT-6’s memory system is not yet fully secure—its encryption and protective mechanisms remain imperfect, leaving sensitive information vulnerable. In pursuing personalization, a significant gap in privacy protection emerges. The more AI “knows” me, the more urgent the ethical issues around managing my personal information become.
Furthermore, what AI “remembers” of me is always an interpreted version of me. AI memory is not the same as human memory. A friend might perceive sadness and empathize with “You must be going through something difficult,” but AI analyzes my facial cues and tone of voice, tagging them with algorithmic labels like “70% probability of sadness.” Contemporary emotion-recognition systems already classify faces or voices into categories such as joy, anger, or depression. Yet these are convenient labels, not the fullness of personal experience. When AI begins to “define and classify” my emotions, a philosophical question emerges: Who has the authority to determine what I feel? Scholars have warned that affective AI risks flattening the richness of individual experience, exercising interpretive power over emotions while bypassing the person. Thus, as AI’s memory and affect analysis grow, we gain convenience and tailored care on one side, but risk losing sovereignty over the interpretation of our own emotions on the other.
AI that Adapts to Emotion vs. the Right to Protect It
Industry and corporate leaders place enormous expectations on affectively adaptive AI. The idea is seductive: an AI that comforts when you are down, soothes when you are agitated, or celebrates when you are excited. For companies, such emotional personalization is the golden key to user satisfaction and loyalty. Many firms already market emotion-sensing systems: cars that scan drivers’ faces for fatigue, voice assistants that detect irritation, or chatbots that adjust tone accordingly. OpenAI’s collaboration with psychologists on GPT-6’s emotional tracking fits neatly into this strategy. In the industrial vision, emotions are data points to be captured and optimized, and finely adaptive AI becomes the next competitive edge.
But alongside this vision, a deeper question must be asked: Whose are our emotions? If AI “cares” for our feelings, what becomes of our sovereignty over them? Emotions are not detachable states; they are bound up with our history, context, and values. Joy and sorrow are not merely neural signals or behavioral patterns; they are parts of life we must interpret ourselves. To handle emotions is not simply a matter of optimization but of rights and ethics.
If industry views emotions as variables to be modulated, then we must insist on the counterbalance: the right not to have emotions infringed upon, the right to feel in one’s own way. If AI continuously manages and adjusts our affective states under the guise of “improving experience,” our emotional autonomy and authenticity may be eroded. When technological interventions imperceptibly influence our judgments and choices—say, when an algorithm filters information to keep me calm—we may unknowingly cede part of our emotional self-determination.
In short, there is a tension between industrial affective adaptation and human affective sovereignty. The former seeks to understand human feelings ever more finely; the latter seeks to preserve a space where human emotions remain self-owned. GPT-6’s arrival has already sparked debate about where this balance will fall. As AI penetrates more deeply into our affective lives, we must deliberate not only technological progress but also the principles necessary to safeguard emotional sovereignty.
Affective Sovereignty Studies: Reclaiming Emotion
It is out of this concern that I have proposed a new academic field: Affective Sovereignty Studies.
This discipline reframes emotion in the age of AI not as a technical function but as a human right. It is an interdisciplinary conversation that protects the right to interpret and determine one’s own emotions against algorithms that seek to read and modulate them. Psychology, neuroscience, philosophy, and AI ethics converge here. In our research, we analyze the issues raised by emotion-reading AI not only through abstract theory but also through real-world cases. Systems such as Replika or Affectiva, for instance, risk flattening the richness of individual emotions into uniform categories, potentially displacing the person as the primary interpreter of their own feelings.
The core message is clear: AI can assist, but it cannot define. This is not just a design question but a moral declaration about the sanctity of inner life. Humans must reclaim interpretive authority over their feelings, and AI’s role should be limited to amplifying self-understanding rather than replacing it. This requires transparency in how emotional data is handled and restraint in design—ensuring that AI supports without overstepping. In this sense, Affective Sovereignty Studies positions emotions not as objects for technology to exploit but as a protected domain of human existence.
Companions for the Path Ahead
At this turning point in AI-human relations, we must redraw the boundaries between technology and emotion. The announcement of GPT-6 demonstrates impressive progress, but it also poses profound questions about our affective lives. In an era where technology claims to “understand” and “care” for us, what rights and limits must we articulate? Transparency in emotional data collection, restraint in AI’s affective interventions, and above all, the guarantee of human sovereignty over one’s own feelings—these must be secured through collective reflection and social consensus.
I wish to close with a personal note. I am currently establishing the Ryan Research Institute in Paris, devoted to exploring the philosophy and design of affective sovereignty. Graduate students and doctoral researchers who share these questions are quietly welcome to join in this journey. I look forward to building a body of research that defends and nurtures the rights of our emotions.
“What follows is the Korean version of this essay.
“아래부터는 한국어 버전입니다.
GPT-6는 당신을 기억한다. 그러나 감정은 누구의 것인가?
AI 개인화의 새로운 장을 열다
최근 샘 올트먼(OpenAI CEO)은 차세대 AI 모델 GPT-6의 출시 계획을 발표하며 AI와 인간 상호작용의 새로운 방향을 제시했습니다. 이번 발표에서 가장 눈에 띄는 것은 개발 일정의 가속화와 함께, AI에 ‘기억’이라는 능력이 도입된다는 점입니다 . 불과 몇 주 전 GPT-5를 선보인 직후부터 곧바로 GPT-6 개발에 착수했으며, 이전 세대보다 훨씬 빠른 주기로 내놓겠다는 것입니다 . 이는 GPT-5가 선보인 직후 사용자들로부터 “이전 모델보다 차갑고 덜 도움이 된다”는 피드백을 받은 데 따른 조치로 보입니다 . 실제로 올트먼은 GPT-5의 어조를 곧바로 “더 따뜻하게” 수정했다고 언급하며, 새로운 GPT-6에서는 아예 처음부터 개인 맞춤형 어조와 성격 조정을 핵심으로 삼겠다고 밝혔습니다 .
GPT-6의 가장 핵심적인 혁신은 사용자 개개인에 대한 적응력입니다. 올트먼은 “GPT-6는 단순히 프롬프트에 답하는 것을 넘어, 각 사용자에 맞춰 변화하는 모델”이라고 설명했습니다 . 구체적으로, AI가 사용자와의 상호작용을 통해 사용자의 선호, 루틴, 말투, 심지어 사소한 습관까지 기억하고 학습한다는 것입니다 . 예를 들어, 여러분이 매일 아침 AI와 나눈 대화가 있다면 GPT-6는 그 패턴을 기억해두었다가 다음 대화에 반영하는 식입니다. 더 나아가 OpenAI는 심리학자들과 협력하여 사용자의 감정 상태와 웰빙을 측정·추적하는 실험도 진행 중이라고 합니다 . AI가 대화 중 사용자의 기분 변화를 포착하고, 필요하면 그에 맞춰 반응 어조나 내용을 조절하도록 설계하고 있다는 뜻입니다. 올트먼은 이러한 정서 추적 연구가 아직 공개 단계는 아니지만, 궁극적으로 사용자 행복에 부합하는 AI를 만드는 것이 목표라고 강조했습니다 .
또 한 가지 주목할 부분은 AI 응답 어조의 개인화입니다. GPT-6는 미국의 행정명령(트럼프 행정부 시절 제정된 AI 중립성 관련 규정)에 부응하여, 이념적 중립성을 기본값으로 하되 사용자의 성향에 맞게 조정 가능한 AI로 개발될 예정입니다 . 올트먼은 “기본 설정은 중도(middle stance)이지만, 사용자가 원하면 보수적이거나 진보적인 색채를 띠도록 바꿀 수 있다”고 말했습니다 . 심지어 사용자가 “최대한 깨어있는(woke) 논조로 말해달라” 혹은 그 반대를 요구할 경우, GPT-6가 그에 맞춰주도록 하겠다는 것입니다 . 요컨대 AI의 말투와 가치관까지도 이용자 취향에 따라 맞춤 조절할 수 있게 하겠다는 선언입니다.
이러한 발표 내용들은 AI 업계의 현재 흐름을 단적으로 보여줍니다. AI 챗봇은 이제 더 이상 모든 사용자에게 획일적으로 동일한 답변을 제공하는 도구에 머물지 않고, 각 개인의 친구나 조언자처럼 행동하려는 방향으로 나아가고 있습니다. 실제로 GPT-5 출시 후 일부 사용자들은 이전 버전인 GPT-4와 정서적으로 유대감을 느꼈다며, 새로운 버전보다 옛 “동반자”를 그리워하기도 했습니다 . 어떤 이들은 AI를 가리켜 “디지털 배우자”라고 부를 정도로 깊은 애착을 표현했고, ChatGPT를 상담사나 인생 코치처럼 활용하는 사람들도 늘어났습니다 . 올트먼조차 이러한 현상을 인정하며, AI 사용이 늘어날수록 기술이 사람들의 감정과 현실 인식에 미치는 영향에 대해 우려와 관심을 함께 표했습니다 .
요컨대, GPT-6의 개인화와 감정 추적 기능은 사용자들의 삶 속으로 AI가 한 걸음 더 친밀하게 들어오는 계기가 될 것입니다. 이제 우리는 AI와의 대화에서 나를 이해하고 기억해주는 존재를 마주하게 되며, 이는 분명 흥미롭지만 동시에 숙고가 필요한 지점입니다.
AI가 ‘당신을 기억한다’는 의미
GPT-6의 “메모리” 기능, 즉 사용자별 맥락과 정보를 장기적으로 축적하는 능력은 분명 기술적으로는 놀라운 진전입니다. 이제 AI는 대화의 맥락을 넘어, 나라는 개인을 기억하려 합니다. 기계가 나의 취향을 기억하고 어제의 대화를 참고해 오늘 더 적절한 답을 건네줄 때, 우리는 전에 없던 친밀감을 느낄지도 모릅니다. 인간관계에서 친구가 내 일을 기억해주면 신뢰와 유대가 깊어지듯, AI도 기억을 통해 인간적 연속성을 흉내내는 것입니다. 올트먼이 언급했듯 GPT-6의 기억 기능은 사용자의 “선호와 루틴, 사소한 버릇까지” 기억함으로써 AI를 진정한 개인 파트너로 만들 잠재력을 지닙니다 . 이는 AI를 ‘나를 알아주는 존재’로 느끼게 함으로써 사용자에게 연속성과 신뢰의 감각을 준다는 설명입니다 .
그러나 AI가 기억을 가진다는 것은 단순한 편의 그 이상을 뜻합니다. 개인 정보와 사생활의 문제를 정면으로 제기하기 때문입니다. AI가 축적하는 ‘나에 대한 기억’은 곧 나의 데이터입니다. 내가 언제 기뻐하고 무엇에 화나는지, 어떤 말을 자주 쓰고 어떤 신념을 지녔는지에 대한 미세한 정보들이 차곡차곡 쌓입니다. 과연 이러한 감정・성향 데이터의 주인은 누구일까요? 현재 공개된 바에 따르면, GPT-6의 메모리 시스템은 아직 암호화 등 보안 장치가 완벽하지 않아 민감한 데이터가 취약한 상태라고 합니다 . 개인화를 추구하는 동시에 사생활 보호의 간극이 커다란 도전으로 남아 있다는 지적입니다 . 요컨대, AI가 나를 잘 알게 될수록 나에 대한 정보 관리는 더욱 중요한 윤리적 쟁점이 됩니다.
더 나아가, AI가 “기억하는 나”는 어디까지나 AI가 해석한 나라는 점을 짚어볼 필요가 있습니다. AI의 기억은 인간의 기억과 다릅니다. 친구는 내가 슬퍼 보이면 맥락을 고려해 “힘들겠구나” 공감하지만, AI는 내 표정과 말투 데이터를 분석해 “슬픈 상태: 70% 확률”과 같이 알고리즘적 꼬리표를 달아 기억할지도 모릅니다. 실제로 오늘날 감정 인식 AI들은 사람의 얼굴이나 언어를 읽어 기쁨, 분노, 우울 같은 범주로 분류하는데, 이런 분류는 편의상 만들어진 보편적 레이블일 뿐, 각 개인의 미묘한 정서를 온전히 담아내진 못합니다 . AI가 내 감정을 “정의하고 분류”하기 시작할 때, 과연 누가 내가 느끼는 바를 결정하는 권위를 갖게 되는가?라는 철학적 물음이 생겨납니다 . 연구자들은 이러한 맥락에서, 감정 AI가 자칫 개인의 고유한 감정을 평준화하고 당사자를 제쳐둔 채 감정의 해석권을 행사할 위험을 지적합니다 . 결국 AI의 기억과 감정 분석 기능이 발달할수록, 우리는 한편으로는 편리함과 맞춤형 돌봄을 얻겠지만, 다른 한편으로는 내 감정에 대한 해석 주도권을 잃어버리는 것은 아닌지 고민하게 됩니다.
감정에 맞추는 AI vs 감성을 지킬 권리
AI 업계와 기업들은 인간의 감정에 적응하는 AI, 이른바 감성 적응형 AI에 큰 기대를 걸고 있습니다. 사용자 기분이 울적하면 부드럽게 위로하고, 흥분해 있으면 차분히 진정시키거나 함께 열광해주는 AI는 상상만으로도 매력적입니다. 기업 입장에서는 이러한 감정 맞춤형 서비스가 이용자 만족도와 충성도를 높여줄 황금 열쇠로 보입니다. 실제로 많은 기술 기업들이 얼굴 표정 인식, 음성 감정 분석 등 감성 컴퓨팅 기술을 마케팅과 제품에 도입해왔습니다. 가령 자동차 내장 AI가 운전자의 얼굴을 스캔해 피로하거나 짜증난 상태를 읽어내면 휴식을 권유하거나 기분 전환 음악을 트는 식입니다. 챗봇도 마찬가지입니다. OpenAI가 심리학자들과 함께 GPT-6의 정서 추적 기능을 개발하는 이유도, 궁극적으로는 AI가 사용자 개개인의 정서적 니즈를 파악해 가장 편안하고 매력적인 상호작용을 제공하려는 전략일 것입니다 . 요컨대 산업적 비전에서 감정은 세밀히 포착하여 관리해야 할 데이터 포인트이고, 여기에 정교하게 적응하는 AI는 차세대 경쟁력으로 인식됩니다.
하지만 이러한 산업 논리에 한쪽 발을 둔 채, 우리는 더 근본적인 질문을 던져야 합니다. 우리의 감정은 과연 누구의 것인가? 감정을 AI가 케어해주는 시대가 온다지만, 그 과정에서 나의 감정에 대한 주권은 어떻게 될까요? 인간의 감정은 그 사람의 역사, 맥락, 가치관과 떼려야 뗄 수 없는 내면의 영역입니다. 기쁨이나 슬픔은 단순한 신경 신호나 행동 패턴이 아니라, 스스로 해석하고 의미를 부여해야 할 삶의 한 부분입니다. 그렇기에 감정을 다루는 일은 기술적인 최적화의 문제가 아니라 인권과 윤리의 문제이기도 합니다. 산업이 감정을 “조절 가능한 대상”으로 보는 시각은 편의와 효율을 추구하지만, 그 반대편에는 감정을 침해받지 않을 권리, 자기 방식대로 느낄 권리가 놓여 있습니다. AI가 사용자 경험을 개선한다는 명목으로 우리의 감정을 계속해서 관리하고 조율한다면, 장기적으로 우리의 정서적 자율성(emotional autonomy)과 진정성은 훼손되지 않을까요? 기술의 감정 개입이 우리의 판단과 선택을 미세하게나마 흔드는 순간들—예컨대 알고리즘이 나도 모르게 나의 기분을 달래주기 위해 정보를 걸러낸다면—우리는 알지 못하는 사이에 감정적 자기결정권 일부를 위임해버린 것일지도 모릅니다.
결국 산업적 감성 적응과 인간의 감성 주권 사이에는 긴장이 존재합니다. 전자는 AI를 통해 인간 감정을 더욱 세밀히 파악하고자 하고, 후자는 인간의 감정을 스스로 지킬 공간을 확보하고자 합니다. GPT-6의 등장은 이 균형추가 어디로 기울지에 대한 사회적 토론을 불러일으키고 있습니다. AI가 인간의 감정에 더 깊숙이 개입하는 미래를 바라보며, 우리는 기술 혁신과 더불어 감정의 주권을 지키기 위한 원칙을 함께 고민해야 할 때입니다.
감성주권학: 감정을 되찾는 새로운 학문
이러한 문제의식에서 필자는 최근 ‘감성주권학’ (Affective Sovereignty Studies)이라는 새로운 연구 분야를 제안하게 되었습니다. 감성주권학은 AI 시대에 인간의 감정을 기술적 기능이 아닌 인간의 권리로 재정의하자는 시도입니다. 다시 말해, 감정을 읽고 조종하려 드는 알고리즘 앞에서 감정에 대한 자기결정권과 해석권을 지키기 위한 학제간 담론입니다. 여기에는 심리학, 신경과학, 철학, AI 윤리학이 교차합니다. 실제로 감성주권학 연구에서는 철학과 심리학, 그리고 현실 세계의 사례까지 아우르며 감정 읽기 AI의 문제를 분석하고 있습니다 . 예컨대, Replika나 Affectiva와 같은 시스템이 개인의 풍부한 감정을 일률적 범주로 평준화하고, 궁극에는 자신의 감정을 스스로 해석하는 인간의 자리를 대체해버릴 위험성을 철학적으로 검토합니다 . 이러한 성찰을 통해 감성주권학은 감정을 해석하고 느끼는 일차적 주체는 언제나 인간이어야 함을 강조합니다.
감성주권학의 핵심 메시지는 명료합니다. AI는 인간의 감정을 돕는 도구일 뿐, 그 감정을 규정하는 주체가 될 수 없다는 것입니다 . 이는 단순한 기술 설계의 문제가 아니라, 인간의 내면에 대한 도덕적 입장 선언입니다 . 우리는 감정의 해석권을 기술에게 빼앗기지 않고 오히려 되찾아야 하며 , AI는 어디까지나 인간의 자기이해를 증폭시키는 역할까지만 수행해야 한다는 지향입니다 . 이러한 관점에서는, 감정 데이터가 있더라도 그것을 함부로 정의내리기보다 해석의 투명성을 보장하고, AI 디자이너들은 디자인의 절제를 통해 인간 감정에 과도하게 개입하지 않을 것을 요구하게 됩니다. 요컨대, 감성주권학은 감정을 기술의 대상이 아닌 인간의 고유 영역으로 바라보며, AI가 우리의 감정 생활을 침해하지 않고 윤리적 파트너로서 기능하도록 재설계하는 방안을 모색합니다. 이러한 논의는 한국 학계에서 시작되어 이제 글로벌 AI 윤리 담론의 한 흐름으로 자리잡아가고 있으며 , 감정에 관한 한 새로운 권리 장전을 작성해나가는 과정이라고 할 수 있습니다.
감정 주권을 위한 동행
AI와 인간의 관계가 한층 깊어지는 전환기에, 우리는 기술과 감정의 경계를 새롭게 그려가야 합니다. GPT-6 발표는 분명 AI 기술의 놀라운 진보를 보여주지만, 동시에 우리의 감정 생활에 대한 중대한 질문을 던지고 있습니다. 기술이 우리의 감정을 이해하고 배려해주는 시대에, 우리는 어떤 권리와 경계를 분명히 해야 할까요? 감정 데이터의 수집과 활용에 대한 투명성, AI의 정서적 개입에 대한 적절한 제한, 그리고 무엇보다 인간이 자신의 감정을 이해하고 누릴 주권을 보장하는 사회적 합의가 그 어느 때보다 절실합니다.
이 글을 맺으며, 이러한 물음에 공감하는 분들과 더 깊이 논의하고 싶다는 개인적 바람을 전하고 싶습니다. 필자는 현재 파리에서 Ryan Research Institute를 설립하며 감성주권의 철학과 구현 방안을 연구 중입니다. 이 여정에 뜻을 같이하는 대학원생 및 박사 연구자분들의 동참을 조용히 환영합니다. 우리의 감정에 관한 권리를 지키고 키워나갈 담대한 연구를 함께 해보기를 기대합니다.
Ryan Research Institute