X Close

Le danger de condamner avec des statistiques Les tribunaux ont une mauvaise histoire d'utilisation de la probabilité

What's the probability judges understand Bayes? (Credit: Oli Scarff/Getty)

What's the probability judges understand Bayes? (Credit: Oli Scarff/Getty)


mai 28, 2024   7 mins

Sally Clark avait deux fils. Tous deux sont décédés dans les semaines suivant leur naissance, à un an d’intervalle, apparemment du syndrome de mort subite du nourrisson (SMSN), parfois appelé mort au berceau. Le SMSN est – heureusement – rare ; en Angleterre, à l’époque, il touchait environ un bébé sur 8 500. Cette statistique a conduit à ce que Clark soit poursuivie pour double meurtre en 1998, malgré l’absence quasi totale de preuves médico-légales de sa culpabilité.

Un pédiatre, Roy Meadows, appelé à témoigner en tant qu’expert pour l’accusation, a déclaré devant le tribunal que la probabilité que les deux décès surviennent par hasard était d’une chance sur 73 millions : c’est-à-dire 8 500 fois 8 500.

En réalité, ce n’est pas vrai. Ce calcul suppose que les décès sont entièrement non corrélés, mais nous savons que le SMSN peut être héréditaire et être influencé par les conditions environnementales. Si vous avez un cas de SMSN dans votre foyer, bien que très rare, vous êtes plus susceptible d’en avoir un deuxième ; le chiffre de 73 millions est de plusieurs ordres de grandeur trop élevé. Mais ce n’était pas la grosse erreur de Meadows.

Sa grosse erreur était la suivante : il a supposé que si la probabilité que les deux décès surviennent par hasard était d’une chance sur 73 millions, alors la probabilité que Sally Clark soit innocente était également d’une chance sur 73 millions.

‘Les tribunaux, au Royaume-Uni, aux États-Unis et ailleurs, ont une mauvaise histoire en ce qui concerne l’utilisation de preuves statistiques.’

Mais c’est faux. Fondamentalement, catastrophiquement faux. Aussi faux que de supposer que parce qu’une seule personne sur huit milliards est le président des États-Unis, il n’y a qu’une chance sur huit milliards que le président des États-Unis soit humain.

Néanmoins, le témoignage de Meadows a contribué à condamner Clark en 1999. Elle a passé trois ans en prison avant que sa condamnation ne soit annulée en appel. Sa vie a, évidemment, été ruinée. Il ne vous surprendra pas d’apprendre qu’elle s’est ensuite laissée mourir d’alcoolisme, quatre ans plus tard, seule. C’est une histoire poignante.

L’erreur commise dans le cas de Clark est une sous-catégorie d’un échec de raisonnement beaucoup plus large, un échec que j’aborde dans mon nouveau livre, Tout est Prévisible : Comment le Théorème Remarquable de Bayes Explique le Monde. Mais dans les milieux juridiques, cela revient souvent – assez pour avoir son propre nom : la ‘fallacie du procureur’.

Il y a eu un récent article dans le New Yorker sur l’infirmière Lucy Letby, condamnée pour le meurtre de sept bébés dans une unité néonatale. La version en ligne est bloquée au Royaume-Uni, en raison des lois sur le mépris de cour, malgré le rejet de son appel contre les condamnations : elle doit encore être rejugée pour une accusation de tentative de meurtre.

Cet article ne concerne pas Letby. Je ne connais pas les faits de l’affaire Letby et je ne serais pas autorisé à en écrire si je les connaissais ; que cela soit une force ou une faiblesse du droit britannique, je laisse à d’autres le soin d’en discuter. Mais je sais que les tribunaux, au Royaume-Uni, aux États-Unis et ailleurs, ont une mauvaise histoire en ce qui concerne l’utilisation de preuves statistiques. Pour comprendre pourquoi, nous devons revenir au travail d’un ministre non-conformiste du XVIIIe siècle.

Le théorème éponyme du Révérend Thomas Bayes a été publié dans un article intitulé ‘Essai pour résoudre un Problème de la Doctrine des Chances‘ en 1763, cinq ans après sa mort. Les travaux précédents en théorie des probabilités avaient répondu à la question : quelle est la probabilité que je voie un événement, étant donné une hypothèse ? Par exemple, si nous supposons que mes dés sont équitables, et que j’en lance trois, je peux m’attendre à voir trois six une fois sur 216. C’est ce qu’on appelle la probabilité d’échantillonnage.

Mais la plupart du temps, en statistiques, nous voulons répondre à la question inverse : quelle est la probabilité que mon hypothèse soit vraie, étant donné un nouvel événement ? C’est ce qu’on appelle la probabilité inférentielle, et c’est une chose complètement différente.

Disons que je vais chez le médecin et que je passe un test de dépistage du cancer. C’est un test assez précis : si j’ai le cancer, il le dira correctement 99 fois sur 100 ; si je n’ai pas le cancer, il le dira correctement 99 fois sur 100. Si je reçois un résultat positif, alors, quelle est la chance que j’aie le cancer ? Est-ce 99% ?

Non. La réponse est que vous ne le savez pas. Du moins, pas avec les informations que je vous ai données.

Imaginez que ce cancer particulier est rare : une seule personne sur 1 000 en est atteinte. Vous testez 100 000 personnes au hasard. Sur ces 100 000, environ 100 auront le cancer, et votre test en détectera 99. Parmi les 99 900 restants, votre test dira correctement que 98 901 sont exempts de cancer.

Mais cela signifie qu’il dira à tort que 999 personnes ont le cancer alors qu’elles ne l’ont pas. Ainsi, sur vos 100 000 tests, 1 098 seront positifs, et seuls 99 d’entre eux seront de vrais positifs. Si vous en faites partie, il y a juste 9 % de chances que vous ayez le cancer.

Vous ne pouvez pas répondre à la question ‘Quelle est la probabilité que j’aie le cancer, étant donné ce test ?’ sans d’abord répondre à la question ‘À quel point pensais-je avoir le cancer en premier lieu ?’ C’était la grande découverte de Bayes. Vous avez besoin de ce qu’on appelle une probabilité a priori. Si le cancer était moins rare, alors votre test positif serait plus inquiétant : si une personne sur 100 en était atteinte, alors un résultat positif signifierait environ 50 % de chances d’avoir la maladie.

C’est contre-intuitif et étrange. Comment ça, ce résultat de test précis à 99 % est presque certainement faux ? Mais c’est mathématiquement inévitable.

Vous pouvez probablement voir l’incidence de ceci sur les preuves statistiques utilisées en justice. Prenez les tests ADN, par exemple : vous pourriez faire un test ADN sur un échantillon d’une scène de crime. Il correspond à un résultat dans votre base de données. Il n’y a qu’une chance sur 3 millions que l’ADN de quelqu’un corresponde à l’échantillon par hasard. Cela signifie-t-il qu’il n’y a qu’une chance sur 3 millions que votre suspect soit innocent ? Comme vous vous en rendrez compte maintenant, non, ce n’est pas le cas.

Cela dépend de votre probabilité a priori. Si votre base de données est un échantillon aléatoire de la population britannique, alors la probabilité a priori que toute personne donnée soit coupable est d’une sur 65 millions. Si vous testiez toute la population, vous obtiendriez environ 20 correspondances juste par hasard.

Mais si vous êtes un Hercule Poirot des temps modernes, et que vous ne testez que 10 personnes prises au piège par une tempête de neige dans un manoir de campagne, alors votre probabilité a priori est d’une sur 10, et la chance que ce soit un faux positif est d’environ une sur 300 000.

De vrais cas ont été décidés sur ces détails : un homme nommé Andrew Deen a été condamné pour viol en 1990 sur la base de preuves ADN pour lesquelles un témoin expert a déclaré qu’il n’y avait qu’une probabilité d’une chance sur 3 millions de correspondance. Sa condamnation a été annulée — bien qu’il ait été à nouveau reconnu coupable lors d’un nouveau procès — car un statisticien a souligné que ‘Quelle est la probabilité que l’ADN d’une personne corresponde à l’échantillon, si elle est innocente ?’ et ‘Quelle est la probabilité qu’une personne soit innocente, étant donné que son ADN correspond à l’échantillon ?’ sont des questions très différentes.

Dans le cas de Sally Clark, le problème n’était pas le test, mais le regroupement : deux événements rares se produisant simultanément. Mais, encore une fois, la probabilité de voir ces événements par hasard n’est pas la même que la probabilité qu’elle était coupable.

Le sien est loin d’être le seul cas dans lequel l’utilisation de statistiques a suscité des soupçons. En 2022, la Royal Statistical Society a rédigé un rapport sur les preuves statistiques dans les procès criminels, et a noté que l’une des raisons les plus courantes pour lesquelles les professionnels de la santé sont accusés de meurtres est parce qu’un ‘nombre apparemment inhabituel de décès survient parmi leurs patients’.

Mais ces cas sont doublement difficiles à évaluer, a noté le rapport, car ‘ils impliquent au moins deux niveaux d’incertitude’. En plus de l’incertitude normale sur le fait qu’un individu ait commis un meurtre, il y a l’incertitude sur le fait que des meurtres ont eu lieu.

L’infirmière pédiatrique néerlandaise Lucia de Berk a été condamnée, lors de deux procès en 2003 et 2004, pour sept meurtres et trois tentatives de meurtre d’enfants placés sous sa garde. Un criminologue a déclaré lors de son procès que ‘la probabilité que tant de décès surviennent pendant que de Berk était de service était seulement d’une sur 342 millions’.

Mais même si c’était le cas — et encore une fois, ce n’était pas le cas ; la RSS a estimé que si vous preniez en compte tous les facteurs pertinents, la chance de voir un regroupement comme celui-là pourrait être aussi élevée qu’une sur 25 — ce n’est pas la même chose que la chance que de Berk soit innocente. Pour établir cela, vous devriez prendre en compte la probabilité a priori qu’une personne soit un meurtrier en série — une chance heureusement minuscule. La condamnation de de Berk a été annulée en 2010, grâce en partie au travail de statisticiens avertis de Bayes.

Le raisonnement bayésien ne révèle pas seulement les condamnés à tort — dans certains cas, il aurait pu conduire à la détection des coupables. Lors du procès d’OJ Simpson pour le meurtre de sa femme et de son amie, par exemple, l’accusation a montré que Simpson avait été physiquement violent.

La défense, cependant, a soutenu que ‘un pourcentage infinitésimal – certainement moins de 1 sur 2 500 – des hommes qui giflent ou battent leurs femmes finissent par les tuer’ au cours d’une année donnée, donc ce n’était pas pertinent pour l’affaire.

Mais c’est simplement l’erreur opposée à la fallacie du procureur. La probabilité qu’un homme qui bat sa femme finisse par la tuer au cours d’une année donnée pourrait ‘seulement’ être de un sur 2 500. Mais ce n’est pas ce que nous demandons. Ce que nous voulons savoir, c’est si un homme bat sa femme, et étant donné que la femme est ensuite tuée, quelle est la chance qu’il l’ait fait?

Le spécialiste du risque Gerd Gigerenzer a tenté de répondre à cela. Le taux de base des meurtres parmi les femmes américaines est d’environ cinq pour 100 000. En supposant que la probabilité d’un sur 2 500 soit correcte, alors sur 100 000 femmes ayant des maris abusifs, environ 99 955 ne seront pas tuées. Mais des 45 restantes, 40 seront tuées par leurs maris. La probabilité correcte que le mari l’ait fait devrait être presque de 90%. La pensée bayésienne aurait pu aider à condamner Simpson.

Et bien qu’il n’utilise pas un raisonnement bayésien complet mais une version simplifiée, l’idée que nous devrions mettre à jour nos estimations de probabilité existantes avec de nouvelles informations – <a href=’https://watermark. silverchair. com/150007.

Le suivi cumulatif, plutôt que les tests ponctuels, aurait pu, selon le statisticien Professeur Sir David Spiegelhalter, repérer à la fois la catastrophe du Bristol Royal Infirmary et les meurtres du pire tueur en série de Grande-Bretagne, Harold Shipman, plus tôt, et sauver de nombreuses vies. Le cas de Lucy Letby ne repose pas uniquement sur des preuves statistiques, et je ne fais pas d’arguments sur sa culpabilité ou son innocence ici. Mais des personnes, y compris des jurys, des procureurs et des juges, ont mal compris la probabilité par le passé ; Sally Clark et Lucia de Berk ont vu leur vie ruinée par cette incompréhension. Penser comme un bayésien aurait pu aider à prévenir cela.


Tom Chivers is a science writer. His second book, How to Read Numbers, is out now.

TomChivers

Participez à la discussion


Rejoignez des lecteurs partageant les mêmes idées qui soutiennent notre journalisme en devenant un abonné payant


To join the discussion in the comments, become a paid subscriber.

Join like minded readers that support our journalism, read unlimited articles and enjoy other subscriber-only benefits.

Subscribe
S’abonner
Notification pour
guest

0 Comments
Commentaires en ligne
Afficher tous les commentaires