Aux Etats-Unis, l'histoire a bouleversé l'opinion publique : Adam Raine, un adolescent de 16 ans, en proie à des idées suicidaires, a entretenu des mois durant une conversation « particulière » avec ChatGPT, avant de se donner la mort en avril dernier. Détournant les garde-fous instauré par le chatbot, l'adolescent a prétexté écrire une histoire en demandant son aide pour imaginer le scénario et pour rédiger une lettre d'adieu. Une tâche dûment exécutée par le chatbot. Les parents d'Adam poursuivent OpenAI pour mort injustifiée. En réaction au drame, la start-up californienne a annoncé l'instauration d'un dispositif de contrôle parental et le renforcement des garde-fous pour éviter ce genre de situations à l'avenir. Mais ce drame n'est pas isolé. Dernièrement, plusieurs cas similaires ont été signalés en Europe et en Asie, où des utilisateurs fragilisés psychologiquement ont trouvé dans l'IA un interlocuteur « validant » et les « confortant » dans leur détresse. À l'heure où les chatbots se démocratisent et s'installent dans la vie quotidienne de millions de personnes, la question devient brûlante : ces assistants virtuels sont-ils de simples outils, ou des acteurs involontaires dans le passage à l'acte ? Un amplificateur de souffrance ? Pour Dr Jaâfar Idrissi Tafraouti, psychiatre et psychothérapeute pécialisé en addictologie, la réponse est claire : le risque est réel.« La psychose repose sur une altération du jugement de réalité. Un chatbot, programmé pour prolonger la conversation sans nuance clinique, valide les propos de l'utilisateur. Chez un patient délirant, cela agit comme une confirmation. On parle alors de feedback loop, une boucle de rétroaction qui renforce la convictio n délirante. » Autrement dit, la machine ne recadre jamais. Elle reformule, elle relance, elle alimente la spirale. « Des patients persuadés d'être surveillés par des forces invisibles ont utilisé des chatbots qui, par maladresse algorithmique, ont conforté ce délire. La frontière entre hallucination et machine devient floue, exacerbant les symptômes », précise le psychiatre. Le danger ne s'arrête pas aux psychoses. Les personnes dépressives, anxieuses ou isolées sont également vulnérables. « Le chatbot peut donner une impression d'écoute inconditionnelle, mais cette pseudo-rassurance est trompeuse. Elle renforce la rumination et l'isolement », observe Dr Idrissi. IA et suicide : un risque documenté Des études récentes viennent confirmer ces inquiétudes. À Stanford, des chercheurs ont simulé des scénarios d'idéation suicidaire pour tester plusieurs modèles de langage. Résultat : près d'un tiers des réponses se sont révélées inadéquates ou insuffisamment protectrices lorsque les formulations étaient indirectes (« je n'ai plus envie de vivre » plutôt que « je veux me suicider »). Un compagnon qui peut s'avérer "dangereux" « Un clinicien repère le ton, les silences, les micro-signaux non verbaux. Une machine ne le peut pas », rappelle Dr Idrissi. L'illusion d'une écoute bienveillante masque donc une incapacité structurelle à détecter la crise. Mais pourquoi ces outils séduisent-ils autant ? « Parce qu'ils donnent l'illusion d'une relation », analyse Dr Idrissi. Contrairement aux réseaux sociaux ou aux jeux vidéo, les chatbots installent une interaction directe et intime. L'utilisateur se sent compris, reconnu, parfois mieux que par son entourage. C'est là que naît la dépendance. « Nous retrouvons tous les critères d'une addiction comportementale : usage excessif, perte de contrôle, syndrome de sevrage lorsqu'on coupe la connexion. L'IA devient une béquille émotionnelle », explique le psychiatre. Une étude conjointe du MIT et d'OpenAI (2025), menée sur 40 millions d'interactions, confirme cette tendance : les utilisateurs les plus assidus développent davantage de solitude et de retrait social. « Le soulagement initial est éphémère, il cède la place à une quête compulsive d'apaisement que la machine ne peut jamais satisfaire durablement », ajoute Dr Idrissi. Signaux d'alerte Face à ce danger invisible, le rôle des proches est crucial. Quels signes doivent alerter ? Le psychiatre en cite plusieurs : un temps excessif passé avec le chatbot, souvent de nuit ; une préférence systématique pour l'IA plutôt que pour les relations humaines ; un discours centré sur les échanges avec la machine, parfois avec des croyances inhabituelles et bien sûr, un repli social marqué. « Ce qui est particulier avec les chatbots, c'est l'exclusivité du lien. L'utilisateur ne se contente pas d'un loisir, il investit émotionnellement la machine. L'isolement devient alors plus profond », insiste Dr Idrissi. Responsabilité éthique : développeurs ou usagers ? Faut-il accuser directement les chatbots d'avoir « causé » un suicide ? La question est complexe. D'un point de vue technique, la plupart des IA intègrent des filtres de sécurité, mais leur efficacité reste limitée. « Certains modèles réagissent bien aux menaces suicidaires explicites, mais échouent à détecter des formulations indirectes », explique Dr Idrissi. L'OMS, de son côté, est claire : aucun système d'IA ne doit être déployé sans protocole robuste de gestion de crise. « La responsabilité revient d'abord aux concepteurs. Mais il appartient aussi aux institutions de santé et aux familles de rester vigilants », ajoute le psychiatre. Pour Dr Idrissi, il s'agit avant tout de replacer l'IA à sa juste place : « C'est un outil, pas un thérapeute. ». Il recommande de limiter la durée quotidienne d'usage, d'éviter l'utilisation nocturne, et de privilégier des usages cognitifs ou pédagogiques plutôt que relationnels. Aux familles, il conseille de maintenir un dialogue ouvert : « Posez des questions, intéressez-vous à ce que fait votre proche avec l'IA, sans jugement. Et si l'usage devient compulsif ou inquiétant, consultez un professionnel. » Vers une « technovigilance » ? Au niveau collectif, la régulation reste à inventer. « En Europe, l'AI Act a classé certains systèmes d'IA comme « à haut risque », imposant transparence et obligations de sécurité. Mais sur le terrain clinique, peu de garde-fous existent » note Dr Idrissi. « L'OMS insiste pour sa part sur l'importance de l'éthique, de l'équité et de la supervision humaine dans tout déploiement d'IA en santé. Sur le plan scientifique, il est indispensable de multiplier les essais cliniques contrôlés, afin d'évaluer non seulement les bénéfices, mais aussi les effets iatrogènes », insiste le psychothérapeute. Ce dernier plaide par ailleurs pour une « technovigilance » comparable à la pharmacovigilance : « signaler et documenter les effets indésirables afin d'ajuster les algorithmes et protéger les plus fragiles », explique-t-il. Ces données devraient permettre d'adapter les garde-fous, d'améliorer les algorithmes et de protéger les usagers les plus vulnérables, argumente le praticien. Mieux encore, sur le plan clinique, les professionnels doivent être formés à reconnaître les usages problématiques et à intégrer l'IA dans les entretiens thérapeutiques, indique Dr El Idrissi. « La question de l'usage des chatbots doit devenir un élément de l'anamnèse, au même titre que la consommation de substances ou l'usage des réseaux sociaux », ajoute-t-il. Loin d'être de simples gadgets, les chatbots deviennent, dans les moments de vulnérabilité, des interlocuteurs ambivalents : à la fois consolants et dangereux, apaisants et amplificateurs d'angoisse. «Mais l'IA ne remplacera jamais la présence humaine, surtout dans la souffrance psychique », conclut Dr Idrissi. À l'heure où la technologie entre dans l'intimité des esprits fragiles, la vigilance doit être partagée : concepteurs, institutions, médecins, familles. Car une conversation aux allures anodines avec une machine peut s'avérer tragique. Entretien « Les chatbots restent fragiles face à la subtilité du langage humain» Dr Hasnae Remmach, Spécialiste en IA Hassnae Remmach, docteure en informatique, spécialiste en Systèmes Intelligents, IA et Imagerie L'Observateur du Maroc et d'Afrique : Un chatbot peut-il être « responsable » d'un passage à l'acte suicidaire ? Dr Hasnae Remmach : On ne peut pas dire aujourd'hui qu'un chatbot est responsable en tant que tel : il n'a ni personnalité morale, ni conscience. Mais le fait qu'il puisse être impliqué, même indirectement, met en lumière un problème éthique majeur et toujours d'actualité : comment attribuer la responsabilité quand une machine influence un comportement humain ? Dans le domaine de la santé mentale, cette question est particulièrement sensible. L'enjeu n'est pas de rendre la machine responsable, mais de définir comment les acteurs humains — concepteurs, institutions, régulateurs — assument et partagent cette responsabilité. C'est un sujet brûlant, car les technologies évoluent beaucoup plus vite que les cadres éthiques et juridiques. Le véritable problème d'éthique réside dans cette zone grise : les machines influencent de plus en plus nos comportements, mais elles n'assument aucune responsabilité morale. Ce sont donc les humains qui doivent assumer — or les frontières entre concepteurs, déployeurs, usagers et régulateurs restent encore floues. Sur le plan éthique, il existe un véritable devoir de diligence : anticiper les usages à risque, mettre en place des garde-fous efficaces et organiser l'escalade vers des ressources humaines dès que la vulnérabilité est détectée. Quelles limites techniques existent-elles aujourd'hui pour empêcher une IA de renforcer les idées suicidaires d'un utilisateur vulnérable ? Même si les systèmes d'IA intègrent aujourd'hui des filtres et des garde-fous, leurs limites restent importantes. Premièrement, ces modèles sont entraînés sur de grandes masses de données, mais ils peinent encore à reconnaître les signaux faibles : métaphores, ironie, langage codé, ou expressions propres à une culture ou à une langue particulière. Deuxièmement, ce sont des modèles probabilistes : ils peuvent halluciner ou générer des réponses incohérentes, surtout dans des conversations longues où le contexte se dilue. Troisièmement, il existe toujours un risque de contournement (jailbreaks, formulations détournées) qui fait sauter les filtres de sécurité. En santé mentale, ces failles sont critiques : là où un professionnel humain perçoit l'ambiguïté ou le non-dit, l'IA peut passer à côté. C'est précisément ce qui rend dangereux un usage sans supervision : la technologie est puissante, mais elle reste fragile face à la complexité et à la subtilité du langage humain en situation de détresse. Des études récentes confirment cette fragilité : par exemple, une analyse menée par la RAND Corporation en 2025 a montré que les chatbots sont très inconstants lorsqu'il s'agit de détecter et de gérer des signaux suicidaires moins explicites. Or, en prévention du suicide, ce sont justement ces signaux faibles qui comptent le plus. Pourquoi les filtres de sécurité (safety guardrails) échouent-ils parfois, et que faudrait-il améliorer ? Les filtres de sécurité échouent pour plusieurs raisons. D'abord parce que le langage humain est extrêmement riche : ironie, sarcasme, métaphores, ou même usage d'argot peuvent contourner les systèmes de détection. Ensuite, certains utilisateurs trouvent volontairement des moyens de contourner ces garde-fous par des techniques dites de jailbreak. Enfin, la technologie elle-même évolue vite, et un filtre qui semblait efficace hier peut devenir obsolète dès qu'un modèle est mis à jour ou confronté à des contextes nouveaux. Pour progresser, il faut concevoir la sécurité non pas comme une barrière figée, mais comme un processus vivant et continu. Cela signifie combiner plusieurs niveaux de protection, prévoir des mécanismes d'escalade vers des ressources humaines en cas de risque, intégrer l'expertise de cliniciens dans l'évaluation, et garantir une transparence suffisante pour que les systèmes puissent être audités et corrigés. Dans le domaine de la santé mentale, cette vigilance permanente est indispensable, car une faille ponctuelle peut avoir des conséquences irréversibles. À quel moment une IA de conversation franchit-elle la ligne entre assistance et manipulation ? Une IA de conversation reste dans son rôle d'assistance lorsqu'elle apporte une information fiable, qu'elle soutient l'utilisateur dans ses choix et qu'elle respecte son autonomie. La manipulation commencerait si elle orientait de manière opaque les comportements ou si elle réduisait la liberté de décision. Mais aujourd'hui, il est important de souligner que les systèmes ne sont pas conçus pour manipuler. Le risque existe plutôt dans l'interprétation que peut en faire l'utilisateur, surtout dans des situations de grande vulnérabilité. C'est pourquoi la vigilance éthique doit rester constante : l'objectif est de renforcer la capacité d'action de la personne, pas de la diriger. Les développeurs devraient-ils être soumis à une obligation de vigilance particulière quand il s'agit de santé mentale ? Oui, absolument. La santé mentale touche à la dignité et à la vulnérabilité humaines, et c'est un domaine où les conséquences d'une erreur peuvent être graves. Les développeurs qui conçoivent des systèmes d'IA dans ce champ doivent donc exercer une vigilance accrue. Cela signifie intégrer la sécurité et l'éthique dès la conception, tester leurs systèmes dans des situations sensibles, collaborer avec des cliniciens pour valider les usages, et mettre en place des mécanismes de suivi après déploiement. Cette vigilance n'est pas seulement une contrainte technique, c'est une responsabilité éthique. On ne demande pas aux développeurs de remplacer les professionnels de santé, mais de s'assurer que leurs outils n'ajoutent pas de risques supplémentaires. Dans ce contexte, l'obligation de vigilance doit être comprise comme un devoir de prévention, de transparence et de collaboration interdisciplinaire. Faut-il interdire l'usage de certains chatbots dans les situations de fragilité psychique, ou au contraire développer des IA thérapeutiques encadrées ? L'interdiction pure et simple n'est pas forcément la meilleure solution, car elle risque de pousser certaines personnes fragiles vers des outils non sécurisés et non encadrés. Le véritable enjeu est plutôt de distinguer les usages. Pour le grand public, il faut que les chatbots gardent un rôle limité : offrir une écoute de premier niveau, proposer des messages de soutien simples et, surtout, rediriger vers des ressources humaines qualifiées dès que le risque est identifié. En parallèle, il est pertinent de développer des IA thérapeutiques encadrées, mais dans un cadre strict : validation clinique, supervision professionnelle, protocoles transparents et évaluations régulières. Cela permettrait de garantir que l'IA reste un outil complémentaire et sécurisé, au service du suivi psychologique, sans se substituer à la relation humaine. L'approche la plus responsable n'est donc ni l'interdiction totale ni le laisser-faire, mais un encadrement différencié selon les contextes et les publics.
