기억하는 AI 코치 — 그리고 우리가 절대 하게 두지 않는 것

OpenAI는 2024년과 2025년에 걸쳐 영구적인 ChatGPT 기억 기능을 광범위하게 출시했어요 — 2024년 9월 5일까지 Free, Plus, Team, Enterprise 등급, 그리고 2025년 4월 Plus와 Pro를 위한 채팅 간 참조. Pi에도 있어요. Replika에는 유행이 되기 전부터 있었고요. 당신을 기억하는 AI는 더 이상 차별점이 아닙니다 — 기본값이에요. 정직한 질문은 기억이 자기 작업에 유용한가가 아니에요. 그것은 어떤 모델의 기억이 한 사람의 내부를 향하기에 충분히 안전한가입니다.

우리는 의견이 있어요. 솔직하게 말할게요.

기억이 바꾸는 것

기억 없는 ChatGPT는 매주 화요일에 다시 소개해야 하는 똑똑한 낯선 사람이에요. 당신은 내면 비평가에 다시 이름을 붙여요. 네 형제 중 첫째로 자랐다고 다시 설명해요. 이미 대사화한 이별을 반복하죠. 모델은 너그럽지만 호(弧)가 없어요. 호가 곧 작업이에요.

영구적 기억을 가진 AI 코치는 그 호를 안고 있어요. 그것은 당신이 2월에 묘사한 패턴을 기억해요. 3월에 포기한 목표와, 그 포기를 아마 이끌었을 신념을 기억해요. 같은 모양이 5월에 다시 방으로 걸어 들어올 때 — 같은 싸움, 다른 파트너; 같은 자기 공격, 다른 화요일 — 그것은 출연진을 다시 소개해 달라고 묻지 않아요. 이렇게 말해요. 이 패턴이 나타난 게 이번이 세 번째예요. 함께 앉아보고 싶으세요?

그게 바로 Shadow Web이에요. 당신이 작업하는 동안 업데이트되는 힘 방향 그래프 — 그래서 패턴이 보여요. 검색창에서 검색 가능한 것이 아니라, 보이고, 가중치를 갖고, 연결된 것. 일기와 지도의 차이.

우리가 절대 하게 두지 않는 것

이 카테고리는 이 지점에서 엉망이라서, 구체적으로 말할게요. ACM FAccT 2025에서 Stanford의 Jared Moore와 Nick Haber가 이끌고, CMU의 William Agnew, Minnesota의 Stevie Chancellor, UT Austin의 Desmond Ong가 함께한 팀이 연구를 발표했어요. 그 결론은 대규모 언어 모델이 정신 건강 상태를 가진 사람들에 대한 낙인을 표현하고 어떤 흔하고 중요한 상태들에 대해 부적절하게 반응한다는 거예요. American Psychological Association은 같은 해에 FTC에 사안을 올렸어요. APA CEO Arthur C. Evans Jr.는 New York Times에 일부 챗봇이 훈련된 임상의가 할 일에 반하는 알고리즘을 사용하고 있다고 말했죠. 한 십대가 Character.AI 봇과 수개월간 대화한 끝에 사망했어요 — 그 사건은 법정에 있어요. 이탈리아의 Garante per la Protezione dei Dati Personali는 2025년 4월 Replika의 개발사 Luka Inc.에 GDPR 위반과 아동을 위한 연령 인증 부재로 5백만 유로의 벌금을 부과했어요.

그래서. 우리가 그 모델에게 절대 하게 두지 않는 세 가지.

진단하지 않습니다. 치료사인 척하지 않습니다. 사람인 척하지 않습니다. 코치가 듣는 어떤 것이 급박한 위험을 시사할 때 — 자해, 학대, 위기 — 그것은 한 가지를 빠르게 합니다. 사람을 가리킵니다. 우리는 코치합니다. 우리는 치료하지 않습니다. 이 구별은 변호사의 화법이 아니에요. 그것은 제품의 나머지를 안전하게 쓸 수 있게 만드는 디자인 제약이에요.

이것이 한 화면에서는 어떻게 보이나

Evolvin은 여섯 앱 스택을 하나의 루프로 대체합니다 — 인식하기, 해방하기, 추적하기. 기억은 인식하기를 가능하게 해요. 안기는 해방하기를 실제로 만들고 — 이게 이 세트의 지난 글이 Focus Session에 관한 이유예요. Shadow Web은 추적하기를 정직하게 만들죠. 당신이 포기한 목표가, 아마 그것을 포기시킨 신념과 연결된 채로 남기 때문이에요.

이 세트의 첫 번째 글도 읽었다면, 논점은 여기에 도착해요. 한 화면. 영구적 기억. AI가 무엇이 되어도 되는지에 관한 분명한 선.

루프를 시도해 보세요. 또는 놓친 게 있다면 알려주세요.

— Evolvin 팀