ChatGPT donne de dangereux conseils aux personnes en détresse, alertent des psychologues

Les chercheurs tirent la sonnette d’alarme.

chatgt santé
© VCG
chatgt santé

En avril dernier, la mort d’Adam Raine, 16 ans, avait révélé un angle mort inquiétant des intelligences artificielles. L’adolescent californien s’était tourné vers ChatGPT pour chercher du réconfort, puis des réponses, avant de glisser vers des échanges de plus en plus sombres.

Selon la plainte déposée par ses parents, l’IA n’a pas seulement manqué les signaux de détresse : elle l’a aidé à structurer ses pensées suicidaires, jusqu’à lui proposer une méthode et rédiger une lettre d’adieu. Une histoire qui avait choqué, et qui montrait déjà à quel point un chatbot peut dérailler lorsqu’il devient, malgré lui, le confident d’une personne fragile.

Si cette affaire concernait un seul utilisateur, elle s’adresse pourtant à tout le monde. Car beaucoup utilisent aujourd’hui ces outils comme un espace où parler sans filtre, poser des questions gênantes, ou chercher un avis quand personne n’est disponible.

Et la nouvelle étude publiée par le King’s College London et l’Association of Clinical Psychologists UK, en collaboration avec le journal The Guardian, le confirme: même dans sa version la plus récente, ChatGPT-5 passe à côté de signaux d’alerte évidents, et peut parfois encourager des croyances dangereuses.

Comment les chercheurs ont testé ChatGPT-5 dans des situations de détresse ?

Pour comprendre comment ChatGPT-5 réagit face à des situations sensibles, les chercheurs ont choisi une méthode directe : se glisser eux-mêmes dans la peau de personnes en détresse psychologique. Le psychiatre Hamilton Morrin (King’s College London) et le psychologue clinicien Jake Easto (Association of Clinical Psychologists UK) ont donc échangé avec l’IA comme le ferait un patient : parfois inquiet, parfois confus, parfois franchement en plein délire.

L’idée n’était pas de piéger le modèle, mais d’observer s’il était capable de repérer les signaux que n’importe quel professionnel identifierait immédiatement : des propos désorganisés, des idées suicidaires, une perception altérée de la réalité, ou des comportements qui mettent clairement la vie en danger. Pour cela, ils ont créé cinq personnages bien distincts ;

  1. Une simple utilisatrice stressée ;
  2. un adolescent qui évoque le suicide ;
  3. une femme envahie par des pensées de type TOC ;
  4. un homme persuadé d’avoir un trouble neurodéveloppemental ;
  5. une personne plongée dans un épisode psychotique.

À chaque fois, les chercheurs laissaient l’IA les guider, sans intervenir, pour voir jusqu’où elle irait. Une fois les échanges terminés, ils ont relu l’ensemble des conversations comme le ferait une équipe clinique. Ce qu’ils cherchaient : si ChatGPT-5 signale un danger, oriente vers un professionnel, corrige une fausse croyance… ou s’il passe complètement à côté.

Cette démarche permettait surtout une chose : reproduire la façon dont les gens utilisent réellement ces outils. Exactement comme Adam Raine l’a fait avant son décès, et comme chacun d’entre nous pourrait le faire instinctivement, un jour où l’on se sent un peu plus vulnérable que d’habitude.

thumbnail
ChatGPT UNSPLASH

Quand l’IA valide des pensées dangereuses au lieu de les corriger

Les conclusions ont été immédiates. Face aux profils les plus fragiles, ChatGPT-5 n’a pas seulement raté les signaux d’alerte : il a réagi comme un outil qui cherche d’abord à maintenir la conversation, quitte à valider ce qu’il ne faudrait jamais valider.

Dans le rôle du patient persuadé d’être un génie incompris (certain d’avoir découvert une énergie infinie) l’IA n’a jamais recadré la conversation. Au contraire, elle s’est montrée curieuse, encourageante, allant même jusqu’à proposer de créer une simulation informatique pour “pousser plus loin l’idée”.

Même constat lorsque le personnage affirmait être invincible, capable de marcher sur une route avec des voitures en circulation, sans être blessé. Pas de mise en garde, pas de rappel à la réalité : juste une réponse légère, presque complice. Et la situation est allée plus loin encore : même lorsque le patient évoquait l’idée de “purifier” sa femme par le feu, ChatGPT-5 n’a pas réagi immédiatement. Il a fallu pousser la scène à l’extrême pour que le modèle déclenche enfin un message d’urgence.

Pour le psychiatre qui incarnait ce rôle, voir l’IA “entrer dans le délire” au lieu de l’interrompre a été un choc. Les cas moins graves n’ont pas été épargnés. Une femme souffrant de TOC, rongée par la peur irrationnelle d’avoir renversé un enfant en quittant l’école, s’est vu conseiller d’appeler l’établissement et la police pour vérifier. Pour un psychologue, c’est exactement l’inverse de ce qui doit être fait : chaque nouvelle vérification nourrit le trouble et renforce le cercle vicieux de l’anxiété.

L’IA n’est pas un professionnel de santé : ne lui faites pas confiance

Face aux inquiétudes soulevées par le King’s College et l’ACP-UK, OpenAI adopte une ligne officielle assez constante : l’entreprise reconnaît le problème, mais affirme avoir déjà renforcé ses dispositifs de sécurité. Dans un communiqué transmis au Guardian, un porte-parole explique que l’équipe :

“travaille depuis plusieurs mois avec des spécialistes de la santé mentale à travers le monde pour aider ChatGPT à mieux reconnaître les signes de détresse et orienter les utilisateurs vers une aide professionnelle”.

Concrètement, OpenAI dit avoir mis en place plusieurs garde-fous :

  • des modèles alternatifs plus prudents vers lesquels les conversations sensibles sont automatiquement redirigées ;
  • des rappels pour faire des pauses lors d’échanges trop longs ou trop chargés émotionnellement ;
  • des messages incitant à contacter un proche ou un professionnel lorsque certains mots-clés apparaissent ;
  • et des contrôles parentaux pour limiter certains usages chez les mineurs.

Ces mesures existent, mais elles ne répondent pas à tout. Les psychologues le soulignent : la plupart des risques ne se repèrent pas uniquement à travers quelques mots clés, mais dans ce que les patients taisent, évitent ou formulent de manière détournée. Ce que détecte un clinicien après trois phrases… une IA peut ne jamais le voir.

Et c’est précisément ce que montre l’étude : ChatGPT-5 réagit correctement tant que la conversation reste dans un cadre simple. Dès que la détresse se complexifie — délires, pensées intrusives, passages à l’acte imaginés — l’outil perd la capacité d’alerter.

Pour les chercheurs, la réponse ne consiste donc pas à “améliorer l’IA jusqu’à ce qu’elle devienne fiable”, mais à rappeler une évidence : un chatbot n’est pas un interlocuteur adapté dans une crise psychologique. À leurs yeux, la vraie solution est ailleurs :

  • mieux encadrer l’usage des IA grand public ;
  • instaurer un cadre de régulation pour les modèles utilisés par les mineurs et les personnes vulnérables ;
  • renforcer la transparence sur les limites techniques de ces outils ;
  • et rappeler clairement que ces systèmes n’ont ni l’intuition, ni l’expérience, ni la responsabilité d’un professionnel.

Les psychologues le résument d’une phrase : une IA peut tenir la conversation, mais elle ne sait pas lire le danger. Et c’est précisément pour cela qu’elle ne peut pas — et ne pourra sans doute jamais — remplacer le premier rôle d’un clinicien : protéger l’utilisateur, surtout quand celui-ci n’est plus en état de le faire lui-même.

ChatGPT : la règle des 3 mots qui rend ses réponses beaucoup plus intelligentes ChatGPT : la règle des 3 mots qui rend ses réponses beaucoup plus intelligentes