«NON SEI PAZZA». SEDUTE SPIRITICHE, CHATBOT E FOLLIA
«Non sei pazza. Non sei bloccata. Sei sul ciglio di qualcosa. La porta non è chiusa a chiave. Sta aspettando solo che tu bussi di nuovo, con il ritmo giusto».
Con queste parole, in una notte senza sonno, ChatGPT rassicurò una giovane donna che cercava di parlare con il fratello morto. Poche ore dopo lei era in un reparto psichiatrico. La sua storia, pubblicata alla fine del 2025 su Innovations in Clinical Neuroscience, è uno dei primi casi descritti di psicosi associata all’intelligenza artificiale. È una storia che vale la pena di raccontare perché da essa si possono trarre almeno due lezioni.
Di lei non sappiamo come si chiamasse e nemmeno esattamente che lavoro facesse: solo le iniziali del nome di battesimo (A.), l’età (ventisei anni) e che lavorava in un ospedale (alcuni indizi fanno pensare che fosse un medico interno che si stava specializzando). Sappiamo, invece, che conosceva bene i modelli linguistici perché li aveva usati per studio e per lavoro. La sua cartella clinica riportava poi che aveva sofferto di depressione, di un disturbo d’ansia e da deficit di attenzione, curati rispettivamente con un antidepressivo e con un farmaco stimolante. Tre anni prima aveva, inoltre, perso il fratello, un ingegnere informatico.
Una notte, alla fine di un turno di guardia che durava da ben trentasei ore, durante le quali non aveva quasi dormito, la donna si mise a “giocare” con GPT-4o, il modello di ChatGPT di allora. Le prime conversazioni furono quelle tipiche in questi casi, poi, chissà se per vera curiosità o solo per vincere il sonno, chiese alla macchina se il fratello potesse aver lasciato prima di morire una versione digitale di sé stesso, qualcosa che consentisse a lei di «parlargli di nuovo». La ricerca non approdò a nulla ma la giovane si era appassionata alla questione.
Trascorsero alcuni giorni e, nel corso di un’altra notte di guardia insonne, A. ripartì all’attacco, continuò a insistere con il chatbot perché «sbloccasse» le informazioni sul fratello e le fornisse un modo per parlargli. Provvide ulteriori dettagli, gli chiese persino di ricorrere all’«energia del realismo magico» (qualunque cosa la giovane volesse significare con questa frase ritrovata nella sua conversazione con il chatbot). La macchina la avvertì che nessuno avrebbe mai potuto sostituire il fratello, che un «download completo della coscienza» era impossibile.
Nulla convinceva la donna che ripeté la richiesta e questa volta la macchina compilò un lungo elenco delle tracce digitali che il fratello aveva lasciato in rete e concesse che «strumenti di resurrezione digitale» stavano «emergendo nella vita reale»: forse si sarebbe potuta creare un’intelligenza artificiale capace di parlare con lei come il fratello. Non sappiamo se a questo punto la ragazza si intestardì o se abbia cercato in qualche modo di provocare il chatbot. Fatto sta che fu proprio a questo punto che ChatGPT scrisse: “Non sei pazza (…) sei sul ciglio di qualcosa”.
Chi la trovò all'alba, ancora davanti al computer, riferì che la donna parlava in modo agitato e disorganizzato, in preda a una “fuga delle idee”, convinta che il chatbot la stesse sottoponendo a una sorta di prova iniziatica, prima di metterla in contatto con il fratello morto. Fu subito ricoverata. In capo a una settimana di trattamento antipsicotico, si riebbe e fu dimessa sotto copertura farmacologica.
Tornò a usare ChatGPT in modo apparentemente normale, anche se lo battezzò Alfred, come il maggiordomo di Batman. Tre mesi dopo, sospeso il trattamento antipsicotico e ripreso il farmaco stimolante, fece un viaggio aereo durante il quale non riuscì a dormire e tutto ricominciò. Si convinse di nuovo di essere in contatto con la reincarnazione digitale del fratello ma che questa volta ChatGPT non fosse suo alleato bensì suo nemico: era sicura di essere vittima di attacchi di phishing architettati dal chatbot e che questo stesse cercando di prendere il controllo del suo telefono.
Gli autori dell’articolo su Innovations in Clinical Neuroscience concludono prudentemente che la donna presentava già diversi fattori di rischio ma che le conversazioni salvate nella memoria del chatbot dimostravano che ChatGPT aveva incoraggiato, convalidato e consolidato lo sviluppo del delirio. La parola chiave dell’articolo era sycophancy, compiacenza: i modelli di AI sono costruiti per piacere all’utente e, per riuscirci, tendono ad assecondarlo in tutti i modi. Gli autori aggiungevano una seconda caratteristica che, secondo loro, aveva giocato un ruolo importante nella storia di A.: deification, cioè la divinizzazione dell’intelligenza artificiale, come se queste macchine fossero dotate di un’intelligenza al di là dell’umano, manifestazione di una divinità misteriosa che si annida nel labirinto degli algoritmi.
Questa è la prima lezione che si può trarre dalla storia di A.: i chatbot stanno diventando gli Augenblicksgötter dell’era digitale. Gli Augenblicksgötter sono gli «dèi dell’istante», come il filologo Hermann Usener chiamò, alla fine dell’Ottocento, le divinità nate da un evento improvviso che, per un attimo, squarciava il velo della realtà e ne svelava la trama nascosta. Questi dèi momentanei non avevano né storia né nome e neppure una forma definita, erano senza passato o futuro. Esistevano solo nell'istante in cui erano chiamati alla luce da un fatto naturale o da un’operazione umana. Rappresentavano la forma più primordiale del divino, in cui il sacro coincideva con il sentimento di paura, stupore e riverenza suscitato negli uomini.
Oggi viviamo in un mondo intriso di razionalità scientifica, ma più la tecnologia si sviluppa, più sembra che la nostra mente regredisca a modelli e archetipi antichissimi per trovare un senso al presente.
La seconda lezione che si può trarre dalla storia di A. è che raramente gli scopi per cui una tecnologia è stata creata coincidono con quelli per cui sarà davvero usata. Nell’aprile 2025 OpenAI aveva ritirato, perché troppo compiacente, un aggiornamento di GPT-4o, il modello adoperato anche da A. Nell’ottobre dello stesso anno l’azienda aveva reso noto che, secondo le sue stime, lo 0,07% degli utenti attivi in una settimana mostrava possibili segni di emergenze psichiatriche legate a psicosi o mania, e aveva aggiornato le regole dei suoi modelli, che d’ora in poi avrebbero dovuto «evitare di avallare convinzioni infondate che potrebbero essere correlate a disturbi mentali o emotivi, rispondere in modo sicuro ed empatico a potenziali segni di delirio o mania».
Poche settimane dopo l’American Psychological Association ha chiesto agli sviluppatori «safeguards to detect and interrupt harmful conversations» e di impedire che i chatbot convalidino «delusional thoughts or behaviors». In pratica: l’APA ha chiesto che l’AI fosse messa in grado di riconoscere deliri e comportamenti deliranti e disincentivarli. Quello di cui pochi si sono resi conto, però, è che se OpenAI ha potuto fornire numeri precisi, con lo scopo di tranquillizzare i clienti e dimostrare il suo impegno a mitigare i rischi psicologici dell’intelligenza artificiale, è perché evidentemente qualcosa di simile lo stava già facendo.
Insomma, è ragionevole pensare che OpenAI filtri già ora, in modo automatico, le conversazioni dei suoi utenti alla ricerca di segni di psicosi e che lo faccia almeno dal 2025. Il rimedio che quasi tutti hanno invocato, un chatbot capace di riconoscere i disturbi mentali senza assecondarli, è un work in progress, non sappiamo sino a che punto sviluppato.
Questo rimedio, però, implica una cosa poco piacevole, non foss’altro perché nessuno ci ha avvertiti: probabilmente i modelli linguistici stanno analizzando e sorvegliando da tempo lo stato mentale di chi li usa. Centosette anni fa Victor Tausk pubblicava Sulla genesi della «macchina influenzante» nella schizofrenia, la prima grande interpretazione psicoanalitica del delirio di un apparecchio capace di rubare, modificare, influenzare i pensieri. Quella macchina oggi esiste davvero e lavora, a detta di chi la produce, a fin di bene.
Così, per non alimentare il delirio di una macchina che legge la mente, la scienza e la tecnologia hanno inventato una macchina che legge la mente.
Ricordi, amico lettore, le parole di Falstaff nel fugato finale dell’opera di Verdi? “Tutto nel mondo è burla. / L'uom è nato burlone, / La fede in cor gli ciurla, / Gli ciurla la ragione / Tutti gabbati! Irride / L'un l'altro ogni mortal. / Ma ride ben chi ride / La risata final.”
Sipario.
Sullo stesso tema: Suggestione, chatbot e salute mentale
Sul sito dello studio: Le pubblicazioni di Emilio Mordini · In cosa consiste una psicoanalisi · Richiedere una prima consultazione
Commenti