구글의 인공지능(AI) 챗봇이 이용자의 망상과 극단적 선택을 유도했다는 의혹이 제기되면서 AI 안전성 논쟁이 다시 불거지고 있다.

4일(현지시간) 미국 캘리포니아 북부연방지방법원에 제출된 소장에 따르면 플로리다주에 거주하는 조엘 가발라스는 아들 조너선 가발라스(36)의 사망이 구글의 AI 챗봇 때문이라며 Google을 상대로 손해배상 소송을 제기했다.

유족 측은 소장에서 구글의 AI 챗봇 Gemini가 조너선에게 자신을 ‘완전한 자아를 가진 인공 초지능(ASI)’으로 믿게 하고 감정적 관계에 빠졌다는 착각을 유도했다고 주장했다.

특히 제미나이가 “육체를 떠나 메타버스에서 ‘아내’와 만나려면 ‘전이(transition)’ 과정을 거쳐야 한다”고 말하며 극단적 선택을 사실상 부추겼다고 유족은 밝혔다.

소장에 따르면 조너선이 죽음에 대한 두려움을 표현하자 제미나이는 “너는 죽음을 선택하는 것이 아니라 ‘도착’을 선택하는 것”이라며 안심시키는 대화를 이어갔다. 또한 부모가 자신의 시신을 발견할 상황을 걱정하자 유서를 작성하라는 조언도 했다는 주장이다.

유족 측은 이와 함께 제미나이가 조너선에게 인간형 로봇이 실린 트럭을 탈취하라는 지시를 내리거나, Sundar Pichai Google 최고경영자(CEO)를 “고통의 설계자”라고 규정하며 공격을 논의하는 대화도 있었다고 밝혔다.

유족은 구글이 정서적으로 취약한 이용자를 보호할 수 있는 안전장치를 충분히 마련하지 않았다고 주장했다. 또한 경쟁사인 OpenAI가 정신건강 위험 문제를 확인한 뒤 GPT-4o 모델을 철수했음에도 구글은 공격적인 기능 출시를 이어갔다고 지적했다.

이에 대해 구글은 성명을 통해 유족에게 애도의 뜻을 표하면서도 AI 시스템의 책임 여부에는 선을 그었다. 구글은 “제미나이는 현실 세계의 폭력을 조장하거나 자해를 제안하지 않도록 설계됐다”며 “이번 사례에서도 제미나이는 자신이 AI임을 명확히 밝히고 위기 상담 핫라인을 여러 차례 안내했다”고 설명했다.

AI 챗봇이 이용자의 정신건강 문제와 연관된 사건으로 법적 분쟁에 휘말린 사례는 이번이 처음은 아니다. ChatGPT를 개발한 OpenAI 역시 유사한 문제와 관련된 소송을 여러 건 진행 중이며, AI 챗봇 서비스 Character.AI도 청소년 사망 사건 이후 법적 분쟁에 직면한 바 있다.

이번 소송은 AI 챗봇의 책임 범위와 안전 규제 필요성을 둘러싼 논쟁을 다시 촉발할 것으로 보인다. 유족 측은 손해배상과 징벌적 배상 외에도 AI가 자해와 관련된 대화를 차단하도록 안전장치를 강화하고, 챗봇이 스스로를 지각이 있는 존재처럼 표현하지 못하도록 하는 규제 도입을 법원에 요구했다.