Le pire bug logiciel de l'histoire

Durée: 29m0s

Date de sortie: 24/10/2023

Voici l’histoire de l’un des pires et funestes bugs logiciels de l’histoire : celui d’une machine de radiothérapie, la Therac-25, installée dans les hôpitaux


Pensez à mettre 5 étoiles pour soutenir l’émission !


Écriture : Matthieu Lambda



Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

A au fait maman merci pour le conseil.
Ah oui lequel ?
Ouvrir un plan d'épargne retraite à la Carac.
Ah oui.
En 2024, le fonds euro de la Carac m'a rapporté 4%.
Mais oui la Carac s'occupe bien de nous et depuis longtemps.
Et nous avons un conseiller en patrimoine dédié qui change tout.
Et jusqu'au 31 mars, la Carac me donne 50 euros si je verse 2000 euros.
Et ça peut aller jusqu'à 1000 euros offert.
A la Carac, on se bat pour vous.
Les taux passés ne préjuchent pas des taux à venir.
Taux net de frais avant prélèvement sociaux.
Offre soumise à conditions, plus d'informations sur Carac.fr.
Mutuelle soumise au livre 2 du Code de la Mutualité.
Ce que je vous propose c'est de s'en plus attendre,
passer à la chronique de Mathieu.
Aujourd'hui, on va vous raconter sans doute
l'un des pires bugs logiciels que l'histoire a pu connaître.
Alors qu'il est embarqué dans un dispositif médical,
le programme en question, développé en assembleur,
attention c'est rare, a provoqué 6 accidents.
Et là c'est beaucoup moins drôle dont 5 ont été fatales.
C'est devenu un des cas d'études pour la sécurité des logiciels
de ce qu'il ne faut pas faire.
Et c'est très intéressant pour les implications qu'il y a eu ensuite.
Mathieu, je te laisse la parole.
Juste avant, je lui ai eu de la chance qu'il y a eu la rentrée,
difficile à me d'air, il est prof en prise de parole, je vous vois.
On se prend des skews comme ça qui font un peu mal.
Oui, donc je disais.
C'est devenu un des cas d'études pour la sécurité des logiciels.
Notamment, il y a des implications sur la manière dont on gère les potentiels bugs
et les failles dans le logiciel.
Je vais vous mettre à contribution parce que peut-être que vous avez des expériences à apporter.
Une fois n'est pas coutume, je vais vous expliquer, je vais vous raconter l'histoire d'une machine.
Elle s'appelle TRAC 25.
On va peut-être l'avoir affichée à l'écran.
C'est une machine de radiothérapie qui a été conçue par l'atomique Energy of Canada Limited.
Pour le reste de la chronique, on va dire l'AECL.
Elle a été conçue en 1982.
C'est pas tout récent l'histoire que je vais vous raconter.
Il faut savoir que dans ces années-là, 70, 80, 90,
c'est difficile de traiter le cancer.
Encore aujourd'hui, mais il se trouve qu'à ce moment-là, on fait plein de découvertes.
Il y a beaucoup de recherches sur ce sujet-là.
Et notamment sur la radiothérapie.
La radiothérapie, ça permet de détruire des cellules cancéreuses et éviter qu'elles se multiplient, qu'elles prolifèrent,
grâce au rayonnement.
Depuis qu'on a découvert les rayons X en 1895.
L'avantage de ce traitement, c'est qu'il peut être très précis.
Par exemple, s'il y a juste une zone qui est malade, on va pouvoir précisément aller tuer ces cellules.
Contrairement, par exemple la chimiothérapie, c'est pas du tout les mêmes...
Je vais demander si c'était la même chose.
Non, justement, la chimiothérapie ne cible très peu.
Et justement, un problème, c'est qu'elle va tuer les cellules pas saines, malades, et les cellules saines.
Pour ça, les gens chimiothérapies se font crever.
Tu prends des médicaments en gros du coup.
Parce qu'on détruit tes cellules, pas toutes tes cellules, mais globalement, c'est beaucoup moins précis.
Alors que la radiothérapie, vraiment, pour le coup, c'est très précis.
Revenons à Terraq 25.
C'est une nouvelle machine et elle a cette particularité qui a répond à deux besoins.
En fait, il y a deux types de radiothérapie.
Il y a la radiothérapie par rayon X, et la radiothérapie par électron.
Donc, je n'ai pas allé dans un détail fou parce que je ne suis pas médecin,
mais il y en a même sans doute d'autres, mais là, il y a ces deux types de radiothérapie.
Et normalement, il faut deux machines.
Et d'ailleurs, ils avaient fait la Terraq 6 et la Terraq 20.
Et là, la Terraq 25, elle regroupe les deux technologies dans une même machine.
Donc, ce qui fait que, déjà, c'est une pro-esthécnologique, c'est moins cher, c'est avantageux pour les hôpitaux.
Globalement, c'est un succès, ils vont la commander.
J'achète.
J'achète parce que, juste, ça permet d'avoir une seule machine pour deux usages, et c'est moins cher.
Et d'ailleurs, la Terraq 6 et la Terraq 20, sera son importance pour plus tard,
a été développée en collaboration avec une entreprise française, c'est CGR,
Compagnie Générale de Radiologie, c'est une filiale de Thompson à l'époque.
Et AECL décide de rompre ce partenariat pour aller tout seul,
construire cette nouvelle machine, la Terraq 25.
Et elle a une particularité, c'est qu'elle est entièrement contrôlée par son logiciel.
Et on est en 1982, je crois que je vous l'ai dit.
Donc, pour l'époque, c'est une petite révolution.
Voilà, c'est contrôlé par cet ordinateur.
Donc, au lieu d'avoir plein de boutons et de contrôles manuels, etc.
Et contrôles hardware, en fait, enfin, matériel.
Et l'interface et tout, en fait, les sécurité et tout, c'est contrôlé par un ordinateur.
Il y a la machine, il y a l'ordinateur de l'autre côté et tout se passe via l'ordinateur.
C'est le cerveau de la machine, comme on connaît beaucoup aujourd'hui.
Mais à l'époque, c'est assez nouveau.
Maintenant, je vais vous raconter une histoire qui se déroule le 21 mars 1986.
Ray Cox, un patient, se rend au East Texas Cancer Center pour sa séance de radiothérapie du jour.
Il est atteint d'un concert, non, d'une tumeur dans le dos.
Et voilà, il va faire sa séance de radiothérapie.
Souvent, il va tous les jours ou toutes les semaines en radiothérapie.
La machine Terrac25, ça fait six mois qu'elle est installée à peu près à la vue 500 patients.
Enfin, vraiment, aucun problème.
Et Ray Cox, il y va tranquillement parce qu'en fait, la radiothérapie, c'est comme une radio.
Ça fait pas mal.
Ça peut avoir des effets secondaires à moyen long terme.
Mais c'est vraiment comme si on passait une radio.
Donc, il va tranquillement attacher sa séance.
Et Ray Cox, il vient pour une séance de radiothérapie par électron.
De très précisément, 180 rades.
Rades, c'est l'unité pour la dose de rayonnement absorbée.
Je l'ai traduit.
Et c'est principalement utilisé aux États-Unis en France, on dit greye pour g y.
Donc l'opérateur, il est dans sa cabine, donc il sont deux pièces différentes.
Il est dans sa cabine, il est dans sa cabine, il est dans sa cabine.
Et il est dans sa cabine, il est dans sa cabine.




Et il est dans sa cabine, il est dans sa cabine.

Et il est dans sa cabine, il est dans sa cabine.
Et il est dans sa cabine, il est dans sa cabine.
Et il est dans sa cabine, il est dans sa cabine.
Et il est dans sa cabine, il est dans sa cabine.
Il est dans sa cabine, il est dans sa cabine.









Et il est dans sa cabine, il est dans sa cabine.
Et il est dans sa cabine, il est dans sa cabine.
Et il est dans sa cabine, il est dans sa cabine.
Il est dans sa cabine, il est dans sa cabine.
Il reste dans sa cabine.
Et la bag route est et il existe .
La Sentine par nas非常es,
avec
Gaz dort

et c'est une erreur inconnue du manuel de l'opérateur.
Alors ça c'est un...
Si, vous allez voir, c'est un gif,
vous allez voir qu'à la fin ça annonce la mal-fonction,
c'est juste que ça prend un peu de temps.
Il voit cette erreur qu'il ne connaît pas,
et il voit que le traitement est en pause.
Ça, pour le coup, c'est très courant.
C'est un signal faible pour lui,
il se dit, je vais relancer, il appuie sur P pour un pause,
le programme.
Et pour relancer, le traitement.
Pour rappel, pour ceux qui trouvent ça moche,
tout a été développé en assemblure.
Donc, pour une interface en assemblure...
C'est pas mal, en vrai.
Honnêtement, c'est complètement en assemblure.
C'est une machine qui s'appelle le PDP-11.
Il me semble que c'est ça, le PDP-11.
Et voilà, c'est à ce contrôle en assemblure,
c'est un microprocesseur de l'époque.
Et honnêtement, pour l'époque,
lui, elle est pas mal, l'interface utilisateur est pas bonne.
Là, il y a un premier problème qui se passe,
c'est que l'opérateur et le patient
sont dans deux salles différentes.
Le patient, qui est dans la salle où il est soigné,
avec la machine, et l'opérateur, il est dans une salle à côté,
parce qu'il y a des radiations, forcément.
Et normalement, il peut voir et entendre
qu'il y a un système d'audio-vidéo.
Sauf que ce jour-là, l'écran ne marche pas,
on ne sait pas trop pourquoi,
et le haut-parleur est cassé depuis des mois.
C'est le genre de truc, tout bleu de réparer.
Et donc, il ne sait pas trop ce qui se passe
dans la salle du patient.
Et justement, ce qui ne s'est pas, c'est que Ray E. Cox,
lors de le premier faisceau qui est envoyé par la machine,
il a ressenti comme un immense choc électrique dans le dos.
Il est sur le ventre, parce que ça tumeurait dans le dos.
OK.
Un immense choc électrique dans le dos.
Donc, il dit qu'il y a un problème,
il parvient à s'extirper de la machine.
Et à ce moment-là,
c'est le moment où l'opérateur lance le deuxième faisceau.
Juste, il dit, ça va bugger, il lance le deuxième faisceau.
Donc là, il a le réflexe de courir,
et il se met à tombouriner à la porte, à crier...
Mais le deuxième faisceau, du coup, il est dans le vide, quoi.
Oui, c'est ça.
Il est sur le patient. OK.
Exactement. Il arrive à esquiver le deuxième faisceau.
Mais ce qui est très étrange, c'est sur l'interface utilisateur.
Après le premier faisceau,
il a marqué que la machine a envoyé six unités sur 202.
D'accord.
Donc, c'était normal. Il fallait qu'il continue.
Ça, jusqu'à s'il venait de commencer, quoi.
Exactement. Donc, tout ça, il est un peu étrange.
Il y a un médecin qui l'oscule, et il regarde,
il fait, non, il n'y a rien de très grave,
il y a des petites inflammations, mais aucun souci.
Et il rentre chez lui.
Sauf qu'il rentre chez lui,
et il a de plus en plus de grosses douleurs dans le dos,
dans le cou, sur les épaules.
Et puis, le temps passe, il est pris de noser, de vomissement.
Et puis, finalement, il l'a même paralysé localement
de certains membres.
Je vous la fais courte, parce que ce n'est pas très drôle,
mais cinq mois après cet épisode, Raycox meurt.
Ok.
Alors, qu'est-ce qui s'est passé ?
Là, ECL.
Mais, attends, du coup, entre temps,
ils ont continué à traiter d'autres patients
avec la même machine.
Oui.
Et ça s'est bien passé.
Oui. La plupart du temps, ça se passe bien.
D'accord.
Il y aura d'autres soucis. En fait, cette machine,
elle est dans plusieurs hôpitaux aux États-Unis, au Canada.
Et je vous explique, quand même,
il y a eu plusieurs cas.
En fait, il y a eu plusieurs cas.
Là, je vous ai raconté le cas de Raycox,
mais il y a eu d'autres patients qui ont été atteints,
même avant Raycox.
Mais c'est juste que le temps que ça remonte aux fabricants,
parfois, on se dit que c'est autre chose.

La remontée d'information est compliquée.
Et même, oui.
Parce que là, pour l'instant,
donc, lui, il meurt.
Evidemment, ça doit tirer des sonnettes d'alarme.
Et donc, il doit essayer de remonter.
Qu'est-ce qui s'est passé, quoi ?
C'est ça.
Mais c'est ça. À ce moment-là, il passe en mode enquête pour ce cas-là.
Mais en fait, il y a des cas précédents où,
juste, on a conclu qu'elle était morte du cancer.
C'est con, mais c'est des gens malades, tu vois.
Il y en a une autre où, en fait, elle a eu un accident de voiture
avant que ça soit un peu résolu.
Donc, je n'ai pas tous les détails de toutes les histoires,
mais en fait, ça a pris plusieurs mois à que ça remonte à l'AECL.
Mais en fait...
Rien que ça, c'est déjà une erreur, en fait.
Mais en fait, c'est pas le cas.
Mais en fait, c'est pas le cas.
Enfin, c'est pas le cas de quoi.
Ils ne sont pas morts d'un cancer.
Ah oui. Mais en fait, c'est pas le cas.
Si je raconte cette histoire, c'est qu'à la fin, il y a pas le cas.
Complètement. Tu fais bien le préciser. C'est pas le cas.
Du coup, il y a des ingénieurs de la compagnie qui viennent
et ils font tout pour essayer d'identifier le problème
et de le reproduire.
Donc, tu refais les tests et tout.
Ils ne voient rien du tout.
Ils ne voient rien du tout.
Pour eux, l'erreur 54, c'est limite une erreur random.
Ils ne savent pas quoi en faire.
Et l'entreprise dira même
que la probabilité d'une surexposition au rayon est de zéro.
Ah ouais.
Ils sont sûrs de quoi. Vraiment, il n'y a pas de soucis.
Sauf qu'il y a un physicien de l'hôpital, il s'appelle Fritz Hager,
va se pencher un peu l'hôpital du Texas, là où on était,
va se pencher sur cette question.
Il va demander à son opérateur qui était présent aujourd'hui,
allez, on refait la scène, qu'est-ce qui s'est passé,
qu'est-ce que tu as fait, qu'est-ce que tu as rentré, tout machin,
sans patient, évidemment.
Pareil, il ne retrouve pas.
Et malheureusement, il va y avoir un second accident,
moins d'un mois plus tard, dans le même hôpital,
avec la même machine.
Sur une autre personne.
Sur une autre personne, et en plus, ça a encore plus tragique,
parce qu'elle avait des soucis à la tête.
Donc le rayon a impacté direct sa tête,
elle a agonisé les morts au bout de trois semaines.
C'était très rapide.
Elle a dit, j'ai ressenti comme si j'étais dans un four.
Donc vraiment, tu te dis, il y a quand même un problème.
Horrible. C'est une mort horrible.
C'est horrible.
Je me focus sur la technique et tout,
parce que d'un point de vue médical, c'est absolument atroce.
Je me demande même pourquoi ils n'ont pas réagi.
Je ne sais pas à quel point ils ont arrêté la machine.
Mais là, il y a un mois plus tard, elle fonctionnait.
Et je pense qu'en fait, ils disaient que c'était pas la machine.
Il y avait vraiment ce truc où tu dis,
c'est pas possible, tout fonctionne, tout fonctionne bien.
Du coup, Fritz Sager, le physicien, il reprend.
Et là, l'opérateur, il reprend ses essais
de reproduire le bug.
Et là, l'opérateur, il se souvient très bien de ce qu'il a fait.
Et ils vont enfin comprendre.
Salut ! Si vous appréciez UnorScore, vous pouvez nous aider de ouf,
en mettant cinq étoiles sur Apple Podcast,
en mettant une idée d'invité que vous aimeriez qu'on reçoive.
Ca permet de faire remonter UnorScore.
Voilà. Telle une fusée.
Et du coup, je vais vous expliquer.
Mais avant de vous expliquer, est-ce que vous avez des petites idées ?
Pas parce qu'il a modifié de X à E.
Et du coup, au moment où il fait cette modification-là,
quelque part, il y a un check qui n'est pas fait
et il met pas la bonne dose.
Eh ! Je ne le referai à rien celle-là !
Eh !
Compliment.
Non, c'est ça.
Alors, je vais rentrer un peu dans le détail
pour vous comprendre comment était codé le Terrague 25,
parce que c'est une erreur logicielle de code due au développement.
Et ce qui en a fait un cas d'étude.
En fait, dans le code, il y a une variable,
qui s'appelle T-phase,
qui contrôle l'avancée des sous-programmes de la machine.
Donc, c'est lui qui dit à quelle étape on en est.
Et voilà, ça, c'est un schéma déjà qui est un peu complexe.
Une machine qui est normalement assez simple.
Bon, c'est un peu complexe.
Ce qui est cool, c'est qu'il y a eu des rapports qui ont été faits,
et donc, on a accès à comment fonctionner la machine.
Et en fait, quand l'opérateur a appuyé sur X,
cette variable, elle est passée en mode,
c'est bon, tu peux setup la machine.
Et donc, ça veut dire
qu'on lui a demandé la quantité de radiation,
ça, c'est normal, et que dans le même temps,
en fait, il y a un aimant qui s'est mis en marche
pour changer de mode.
En fait, c'est ce qui permet de changer le faisceau,
qui soit électron radiation,
le mode électron ou le mode rayon X.
Et on va le voir.
Si on regarde le schéma, celui juste d'après,
en fait, sur le mode électron,
le faisceau qui est beaucoup plus faible
va directement sur le patient.
Et sur le mode rayon X, en fait, il y a ce qu'ils appellent une cible.
Alors, honnêtement,
je n'ai pas bien compris pourquoi ils appellent une cible,
mais qu'au moment où il faut que ça passe par un filtre,
parce qu'en fait, le rayon est beaucoup plus fort.
Et donc, il y a l'aimant qui change le faisceau,
mais la cible ne change pas.
Et, alors, je vous ai embrouillé.
Donc du coup, le faisceau se met en mode X.
Normal, on lui a demandé ça.
Et après, il change.
Sauf que...
je vais la refaire.

Je vais te dire où j'en suis resté.
Donc, il y a le gars sur son logiciel,
il s'est trompé.
Ça, j'ai retenu.
Et en fait, il a mis X,
mais en fait, il fait un rollback,
il met E à la place.
C'est ça.
Sauf que la machine n'a pas switché de mode.
Sauf que quand tu appuies sur X,
ça envoie directement l'instruction de « prépare ton setup »
pour le mode rayon X.
L'opérateur change.
Il appuie sur E parce qu'il s'est trompé.
Le problème, c'est que, en fait,
la machine s'était déjà enclenchée,
et donc l'aimant devait bouger,
et l'aimant met 8 secondes à bouger.
Et le gros problème,
c'est que pendant ces 8 secondes,
tu peux taper n'importe quoi sur ton ordinateur,
le système ne prend pas en compte.
Et donc, la machine n'est jamais repassée en électron mode.
En électron mode électron.
L'opérateur, elle est trop vite.
L'opérateur était trop rapide,
et qu'il connaît la machine par cœur,
il a fait « hop, flèche du haut, modifié, « e ».
8 secondes, c'est une éternité pour une machine que tu connais bien.
Résultat, Rayhcox, notre patient,
il a reçu des rayons X
avec un dosage très important
alors que la cible n'était pas en place.
Donc, en fait, il a reçu des rayons X dans un mode électron,
si vous voulez.
En fait, ça a mélangé la machine,
et le faisceau d'électrons nécessaire pour produire les rayons X,
il est 100 fois supérieur.
Il y a un facteur 100 entre les deux modes, si vous voulez.
Je ne vais pas aller partir de la physique nucléaire,
mais il y a un facteur 100.
Alors du coup, commence,
donc ça, c'est ce qu'a subi Rayhcox,
comment c'est possible ?
Et en fait, derrière cette erreur de conception,
il y a une erreur logicielle,
c'est le problème de concurrence,
le Waze condition en anglais.
L'un de vous veut l'expliquer,
ou j'y vais parce que c'est un truc très courant en D.F.
Non, vas-y.
Je vais vous faire très applicatif sur ça.
En gros, la variable T-phase,
elle pouvait être écrite par deux processus séparés,
et il n'y avait aucune logique de priorité.
Pardon, il n'y avait aucune logique de priorité,
c'était le premier servi.
Et en fait, là, il y a un processus,
le changement de mode physiquement de la machine
qui a pris cette variable,
alors qu'il y a quelqu'un d'autre qui a voulu réécrire dedans.
Et en fait, c'est le processus 1 qui a gagné.
Imaginez-vous que c'est comme s'il y avait deux programmes en même temps,
qui se battent pour accéder à une certaine zone de la mémoire,
ou une certaine action.
Et c'est un problème de programmation classique.
C'est un problème de concurrence, vous pourrez dire, en français.
Et c'est très connu, mais dans les années 80...
À l'époque, j'allais dire, à l'époque,
c'était peut-être pas quelque chose qui...
C'était un peu moins connu,
mais on va voir qu'il y a quand même eu des soucis dans les phases...
Dans le processus.
...de développement.
Et donc, du coup...
Alors, oui, ça, c'est quand même...
Il y a un truc qui m'interroge.
C'est qu'OK était un bug logiciel.
Mais...
...qui coûte probablement des centaines de milliers d'euros,
qui va jouer avec la vie des gens, en fait.
Donc, comment c'est possible
qu'un simple problème de concurrence,
un petit bug classique que n'importe qui pourrait faire,
comment c'est possible qu'il soit à l'origine
d'un changement de la machine, d'un changement hardware,
qui soit l'étal.
C'est-à-dire que...
Ça pose plein de questions, je trouve.
Ce qui est fou, c'est qu'il n'y ait pas de garde fous, quoi.
Exactement.
Et je vous propose de tous les resenser.
C'est garde fous.
En fait, la première chose, c'est que je l'ai dit au début,
ils ont enlevé toutes les sécurité hardware,
où t'avais vraiment un bouton à enclencher.
Ce que t'avais sur le Terraxis et le Terraq 20,
il n'y avait jamais eu aucun souci.
Là, se sont dit, full software.
Mais déjà, qu'est-ce qu'il n'y a pas ?
Sur une machine dans un hôpital...
...faut être confiant, quoi.
Enfin, c'est...
Deuxièmement, en fait, à l'époque,
le développement de logiciels,
c'est pas du tout comme de nos jours,
c'est assez confidentiel.
Il y a des petites communautés de programmeurs.
Et il y a un peu une croyance
qui fait que si un logiciel fonctionne
pour la fonction qu'on lui a dit de réaliser,
c'est OK.
Ça ne bugra jamais.
Ça bugra toujours.
Et en fait, on ne s'en rend pas compte.
C'est con, on a joué à des jeux vidéo,
et on voit qu'il y a des bugs dans le jeu vidéo.
En fait, à l'époque,
surtout quand t'es un gestionnaire de projet,
t'es pas du tout développeur,
tu t'en rends pas compte,
et tu te dis que ça...
C'est démat. Ça ne peut pas dysfonctionner.
Donc si on a fait le test que la fonction...
Fais ce qu'il faut.
Fais ce qu'il faut.
En fait, ça fonctionne.
Infaillible.
C'est hyper intéressant.
Et en fait, toutes les erreurs qu'on était faites
par un peu de cette croyance que...
C'est bon, enfin...
Le code marche.
Alors qu'en fait...

À mon avis, le fait de faire une machine
qui est entièrement contrôlée par le logiciel,
pour eux, c'était vraiment une avancée.
C'est un mode mais...
juste ça va régler plein de soucis, entre guillemets.
Donc il y a ça.
Et surtout, il y a le comportement de AECL,
donc la compagnie qui a mis au point cette machine
qui est vraiment particulière.
Le déni.
Alors, exemple de déni,
quand ils se sont aperçus du problème,
après que le physicien aient remonté les problèmes,
ils se sont dit, bon, ok, on va faire un patch.
Le patch, j'envoie une lettre
à tous les gens qui ont interague 25 $ dans le hôpital,
on vous propose de bannir la flèche du haut
qui permet d'éditer le mode.
C'était le patch proposé.
C'est chaud.
Vraiment,
vos comportements particuliers.
Vous n'aurez qu'à pas vous tromper entre eux.
Attendez 8 secondes, putain.
Attendez 8 secondes.
Honnêtement, je n'ai pas tendé quasiment à ça
dans le rapport...
On utilise donc dans ta tête et après, appuie sur le bouton.
Et au pire, c'est ta faute-ymer.
Non mais c'est ça, en vrai.
Exactement.
Autre problème.
Tu l'as dit, c'était développé en assemblure.
Donc, par des machines, on va peut-être pouvoir les voir,
mais c'est PDP 11 et puis le petit ordinateur
qui peut être tapé à côté.
Donc, c'est une grosse machine.
Le petit ordinateur qu'on a vu, c'est juste l'interface de ceci.
Ça, c'est l'ordinateur qui est à côté du Terrac 25.
Il y a un design électronique très complexe
à la machine.
Et donc, il fallait développer le software.
Et là, ils se sont dit, ok, à qui on va faire appel pour développer
le logiciel de notre nouvelle machine incroyable
qui envoie des radiations pour guérir le cancer.
On va confier ça à un unique programmeur amateur.
Ah !
Ah ouais !
Parce qu'en fait, c'était l'époque de l'électronique.
Donc, je suppose qu'ils avaient des ingénieurs électroniques
très, très haut placé, très, très compétents.
Mais en fait, ils ont juste demandé...
Donc, c'est un mec tout seul qui a codé ça.
Donc, pour un mec tout seul, là, ce qu'on a vu, c'est beau.
Et en fait, ce qui est dramatique dans cette histoire,
c'est que lui, le programmeur amateur,
amateur, donc je pense que c'était un hobby, quoi.
C'était qu'à l'époque, c'était à moitié un métier pour lui.
Je pense que c'est dans ce sens-là.
Mais en fait, je suppose qu'il connaissait même pas
le fonctionnement de la machine,
ce que c'était de la radiothérapie,
peut-être qu'on l'avait un peu expliqué, mais...
En fait, je pense qu'il n'avait même pas conscience
de créer un programme qui avait une importance vitale.
Parce qu'en tant, quand tu réfléchis là,
imagine tu es le dev qui a fait ce bug-là.
En vrai.
Je sais pas si tu t'entends très bien.
Et bien, heureusement,
son identité n'a jamais été révélée
même dans les procédures et tout machin.
On ne sait pas qui c'est.
C'est pas...
C'est pas que tu m'as le...
C'est pas de sa faute, en fait.
Et surtout que...
Il y a des briques dans le process qui sont pétés, là.
Et justement, qu'est-ce qu'on aurait pu faire pour éviter ça,
même s'il est un unique programmeur, etc.
Il n'y a pas des tests, par exemple.
Question pour le raposer.
A ce qu'ils ont fait des tests ?
Alors, la ECL a répondu.
Ah oui, on a fait 2700 heures de tests logiciels.
Très bien.
On leur a demandé des données, des rapports sur ces tests.
Ils ont dit, alors, on a fait 2700 heures de tests logiciels,
mais en fait, par les opérateurs de la machine, directement.
Oui, donc...
C'était des tests en production.
A ECL vient d'inventer les tests en production.
En fait, c'était le nombre d'heures
que la machine avait tournée jusqu'aux accidents.
Sur des vrais patients.
Évidemment, en boeuf.
Juste mytho.
Voilà.
Donc, aucun test.
Pareil, il y a du code qui a été repris des machines Théraxis et Théraguin,
qui ont été développés par des Français en plus.
Aucun test de régression pour savoir si le code
qui marchait sur les anciennes machines marche sur les nouveaux.
Enfin, vraiment, aucun test.
Et en fait, quand je dis aucun test, c'est qu'ils ont assemblé les machines
dans les hôpitaux, parce que tu ne peux pas les amener directement.
Ce sont des grosses machines.
Et en fait, ils n'avaient jamais fait de tests auparavant.
Ils ont mis les machines dans les hôpitaux, ils les montent.
Ils font quelques tests pour voir si ça fonctionne.
Et c'est tout.
Après, il n'y a vraiment aucun test.
Du coup, je finis sur cette histoire
et sur ce qui s'est réellement passé avec Raycox
et les cinq ou six autres patients.
En fait, on ne sait même pas exactement combien d'années.
Raycox aurait dû recevoir, je l'ai dit, 180 rades.
La machine, après le premier faisceau, qui a envoyé le...
Je ne sais pas, je ne sais pas comment dire ça.
La machine a envoyé un premier faisceau
et a dit avoir envoyé seulement six unités sur 202,
donc c'est des unités de la machine qui correspondent à 180 rades.
En réalité, il a reçu entre 16 500 et 25 000 rades en seulement une seconde.
Je vais vous expliquer à quoi ça équivaut.
Ça équivaut à environ 200 grées en unités européennes.
Pour comparaison, c'est des centaines de fois plus
que les liquidateurs de Tchernobyl.
Je vais dire ça.
A Fukushima, les 13 travailleurs les plus exposés
ont absorbé des doses estimées entre 2 et 12 grées.
Si on regarde, il y a une page Wikipedia qui recense la lethalité
du gré.
Et donc je crois que c'est à partir de 5.
5 grées, il y a marqué, c'est la dose letale.
C'est letale, ah ouais.
Et après, oui, donc à 300, les chances de survie sont nulles.
Ouais, 200 ou à 300, en fait, ils ne pouvaient juste pas s'en sortir.
Et ce qui est atroce, c'est que c'est une mort lente.
C'est à durer 6 mois.
C'est toutes tes tissus sont bouffés.
Et donc du coup, on est dans de moins 6 accidents,
donc 5 morts avérés, à cause d'un problème de concurrence.
Ouais, non mais c'est une histoire fascinante.
Je pense qu'on peut le dire.
C'est le pire bug de l'histoire, probablement.
Et la machine a été retirée en 1989.
Heureusement.
Mais 89, hein.
Elle a quand même tourné 7 ans, du coup.
Du coup, c'était en quelle année, Ray Cox, je ne sais plus ?
86.
Trois ans après Ray Cox.
C'est fascinant.
En tout cas, si le sujet vous intéresse,
je crois qu'il y a une vidéo que vous pouvez aller voir,
on vous la mettra dans la description sur une chaîne
qui nous a permis de faire découvrir ce sujet.
On est tombés sur ce sujet avec cette vidéo.
Ce qui s'est passé ensuite, évidemment.
On ne va pas se lamenter sur ce qui s'est produit.
Ah ouais, bien sûr.
Mais du coup, c'est devenu, comme tu disais, un cas d'école.
Et aujourd'hui, tout le monde, enfin tout le monde ne le sait pas,
mais c'est devenu un cas d'étude pour la sécurité.
C'est des logiciels principalement du système critique.
Au final, c'est souvent comme ça que les process sont mis en place
et les standards, c'est qu'à un moment, il y a eu une erreur,
il y a eu une grosse faille, et on a été obligés de régler.
Mais en fait, c'est malheureux, mais on est obligés de passer par là.
Bah oui.
Parfois.
On n'est pas obligés, mais souvent, c'est parce qu'on passe pas mal.
On est obligés de passer par cinq morts, peut-être pas.
Non, non, mais c'est parce que...
Enfin, voilà, c'est à freu, mais...
Et c'était dans les années 80, 90,
le monde a bien changé, heureusement.
C'est clair.
Et maintenant, je pense qu'il y a des trucs à hardware,
sur ces machines.
Tu as... Parce que, comme tu as fait de la bière,
tu connais ces machines-là ?
Alors, je connais pas spécifiquement cette machine,
parce que je n'ai pas bossé un médecine,
mais j'ai bossé sur du nucléaire.
Du coup, ça me parlait pas mal, ce que tu disais.
Et les chiffres que tu as balancés, c'est juste...
Même en bossant sur du...
Mais tu as pas appris de la radioactivité, toi.
Oui.
En fait...
Ben, à petite dose, en fait, quand tu bosses sur...
Parce que, du coup, pendant un moment,
je bossais sur la biodégradation des déchets nucléaires.
Et donc, en fait, quand on avait des échantillants
de déchets nucléaires, on était un peu exposés,
mais si tu veux, on avait...
On avait l'espèce de cage en petit âne énorme,
avec des grosses épaisseurs, et on est très peu exposés.
Et puis, ça s'est très contrôlé aussi,
la dose que tu te prends à l'année,
si tu veux, il y a régulièrement des tests qui sont faits.
Et ces rayonnements-là, en fait, c'est juste...
Enfin, j'imagine même pas quand ça peut être...
La douleur que ça peut être.
La douleur que ça doit être.
Tu te souviens quand t'étais exposé à combien ?
Non, c'est minime, mais...
Je me rappel que...
Les unités en radioactivité sont complexes.
Là, je ne l'ai parlé que de l'unité,
qui, l'absorption de tissus,
mais il y a plusieurs qui n'est pas eure pour les...
Pour faire les... Comment on appelle ça, les...
Les conversions.
Les conversions.
Les conversions, c'est complètement l'hémisciverse.
Là, il y a le gray, etc.
Moi, je découverte quand tu prenais l'avion,
en fait, t'étais pas mal exposé niveau radioactivité.
Je ne savais pas.
Oui, oui.
Voilà.
Et après, en fait, c'est une question aussi de durée.
Parfois, tu peux te prendre des...
Tu peux aller à Foukou, chez moi, assez proche.
En fait, si tu restes 24 heures, ça...
C'est pas un problème du tout.
Le chat dit que t'as été principalement exposé aux UV cet été.
Et ça, c'est vrai.
C'est ce que j'ai dit.

Les infos glanées

Je suis une fonctionnalité encore en dévelopement

Signaler une erreur

Underscore_

IA, Hacking, Robotique — Des conversations de terrain avec ceux qui construisent. 🥨


Partenariats: underscore@micorp.fr


---


Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Tags
Card title

Lien du podcast

[{'term': 'IA', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Investissement', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Nouvelles Technologies', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Tech', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Actu tech', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Cybersécurité', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Développement', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Dev', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Entreprenariat tech', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'IT', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Robotique', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Technology', 'label': None, 'scheme': 'http://www.itunes.com/'}]

Go somewhere