Des machines morales

 Du fait de sa programmabilité, l’ordinateur est souvent qualifié de machine universelle. Si la machine classique est la représentation d’un programme unique et spécifique, l’ordinateur est un mécanisme qui représente physiquement n’importe quel programme installé comme une procédure d’exploitation parmi d’autres possibles. En raison de cette versatilité et de cette flexibilité fondamentales, l’ordinateur peut être utilisé d’innombrables manières, y compris dans le domaine de l’action morale. Il est impossible de donner ne serait-ce qu’une vue d’ensemble de ces possibilités. C’est pour cette raison que je me contenterai d’étudier ce que je considère comme les trois types fondamentaux de délégation du jugement moral et de l’action aux ordinateurs. Ces trois types fondamen- taux sont présentés dans un ordre qui vise à montrer la diminution progressive de l’autonomie morale de l’homme et l’accroissement constant de l’autonomie morale des ordinateurs.

Machines en action

Le premier type de « délégation » de la moralité aux ordinateurs concerne l’application de valeurs et de normes morales à la conception proprement humaine des systèmes informatiques. Dans la pratique cela implique la plupart du temps un processus de négociation, « une lutte de pouvoir sémiotique »1, principalement entre clients, financiers, concep- teurs, gouvernements et utilisateurs potentiels. Par l’interdiction d’actions moralement répréhensibles ou l’application d’actions moralement souhai- tables, le système informatique invite l’utilisateur à faire preuve d’un comportement moralement désirable. Les technologies de protection de la vie privée2 intégrées dans les systèmes d’information sont un exemple de tels programmes. Ces programmes visent à protéger la vie privée des indi- vidus en éliminant ou en réduisant les données personnelles, ou bien en en bloquant le traitement lorsque celui-ci n’est pas indispensable ou qu’il est superflu, pour autant évidemment que cela n’interfère pas avec la fonc- tionnalité du système3.

Cette forme de délégation morale à l’ordinateur ne se distingue en prin- cipe pas d’autres formes de moralisation mécanique, comme par exemple la pose de tourniquets à l’entrée du métro. Car dans ce dernier cas égale- ment, une valeur ou norme éthique est implantée par l’homme dans ses conceptions techniques afin d’imposer un comportement moral (ou légal). Pour aucun de ces deux cas, on ne peut, stricto sensu, qualifier ces actions ou décisions comme appartenant à un sujet non humain conscient de soi, intentionnel et moral. On trouve à l’évidence dans les deux exem- ples cités des cas de médiation technologique de la moralité, mais il n’y a pas d’agent technologique agissant de façon morale. Tant les fins (les valeurs à réaliser) que les moyens (les normes requises pour leur réalisa- tion) sont implantés dans la technologie par l’homme.

D’un point de vue utilitaire, une telle moralisation des choses est souvent supérieure à d’autres stratégies qui se concentrent sur l’intention- nalité des usagers, comme l’éducation morale, les campagnes d’informa- tion ou les décrets de lois assortis de sanctions. Alors que de vastes campa- gnes d’information n’ont pas contribué de façon notable à la baisse du resquillage dans le métro d’Amsterdam, la pose dans les années 1990 d’une simple porte, qui pouvait pourtant être franchie sans titre de trans- port, a fait baisser le taux de fraude de 35 % à 15 %.           
Les tendances moralisatrices des technologies de l’information soulè- vent de nombreuses questions et objections. Ici également, nous sommes confrontés à une confusion et une ambiguïté conceptuelles. Peut-on soutenir que l’usager du métro est devenu plus moral grâce aux portes ? Est-il éthiquement pertinent de savoir si la situation souhaitée est le fruit de pratiques d’éducation, d’apprentissage et de discipline, d’un contrô- leur, d’un objet (une porte), d’un texte (un code législatif) ou d’un programme informatique (les PET) ? Une objection majeure serait de dire que la délégation de moralité évoquée à l’instant aurait un impact négatif  sur l’autonomie morale des hommes. Lorsque des individus ne peuvent pas faire de fautes morales, ils ne peuvent pas acquérir de sagesse morale ni grandir et s’élever au rang d’êtres humains moralement raffinés. Il se peut en outre que certaines technologies aient des effets moraux imprévus et indésirables – des effets concomitants qui paraissent saper l’autonomie humaine. Parfois, les technologies peuvent même involontairement inciter à des comportements allant à l’encontre des valeurs et des normes intégrées dans leur conception même. Le répondeur a été conçu pour accroître la disponibilité de l’individu, mais dans les faits on s’en sert souvent pour se rendre sélectivement indisponible. Autre exemple : les téléphones portables et les caméras de surveillance ont pour effet involon- taire de rendre les individus témoins d’un délit violent moins enclins à intervenir. Ils seront plutôt prédisposés à simplement composer le numéro d’urgence de la police ou même à ne rien faire, supposant que la police en sera informée par les caméras. Les problèmes pratiques qui en résultent renvoient à des questionnements tels que : « Qui est responsable de la conception des objets et des logiciels moralisateurs ? » ; « Sur quelle auto- rité sont fondés de tels systèmes et objets ? » ; « À quels types de contrôle démocratique ces derniers sont-il soumis ? »

Decisions assistées par ordinateur

Tandis que dans le premier type d’ « externalisation » morale, le but ainsi que les moyens sont exécutés par les hommes dans leurs conceptions  techniques, la technologie de l’information apparaissant seulement  responsable des effets involontaires ; dans le deuxième type de délégation  de moralité, le soin de trouver les moyens adéquats est laissé au  programme lui-même. On retrouve dans le système de freinage de nombreux véhicules actuels divers dispositifs qui décident quelles roues seront freinées et quelle puissance de freinage s’appliquera dans chaque type de manœuvre entreprise. Parfois même ces dispositifs corrigent en cas de nécessité la position des roues. Le conducteur décide de ce qui doit se passer (l’objectif), mais la manière dont cet objectif doit être atteint (le choix des moyens) est laissée au programme informatique, dans certaines limites définies lors de sa conception. Dans ce cas-là, la question se rapporte essentiellement aux moyens techniques.    

Dans le cas de systèmes d’expertise médicale et juridique, il y a égale- ment délégation de la fonction consistant à trouver des outils normatifs. Le système médical APACHE III est utilisé pour prédire les risques qu’ont les patients d’une unité de soins intensifs de décéder à la suite des maladies dont ils sont atteints4. Il s’avère que les prédictions d’APACHE III font très clairement preuve d’une plus grande justesse que celles des médecins. Cela s’explique par le fait que les médecins sont (souvent inconsciemment) enclins à tenir compte de façon disproportionnée de l’âge du patient. Selon toute probabilité, ce raisonnement se fonde sur des raisons tant médicales que normatives – les patients plus jeunes étant tenus pour plus résistants et, en cas de survie, supposés avoir de plus grandes chances de vivre longtemps que des patients plus âgés. Ainsi les chances de survie de patients plus jeunes sont souvent surestimées et ces patients ont fréquem- ment la priorité sur d’autres en cas de pénurie de lits dans une unité de soins intensifs. APACHE III apparaît nettement meilleur dans ses prédic- tions, en partie parce que le système, lors de l’analyse des données statisti- ques fournies, accorde beaucoup moins de poids au facteur âge du patient que ne le font les médecins humains.

Le cas d’APACHE III renvoie aussi à une délégation de moralité, cette fois-ci non plus par l’imposition ou l’interdiction de comportements spécifiques, mais par le champ laissé à la machine pour délibérer de manière rationnelle sur les moyens précédant l’action. D’un point de vue utilitaire, cette délibération rationnelle est supérieure à celle des êtres humains. Après tout, quand de jeunes patients qui ont une forte probabi- lité de mourir obtiennent la priorité sur des patients plus âgés bénéficiant d’une plus longue espérance de vie – mais qui courent également un plus grand risque de mourir à l’extérieur de l’unité de soins intensifs – cela signifie que l’objectif, à savoir sauver autant d’années de vie que possible, est seulement atteint dans une forme « sub-optimale »5.    

Il semble évident que l’autonomie morale des êtres humains est limitée à un degré nettement plus important dans ce deuxième type de délégation que dans le premier. En principe, le médecin peut choisir d’ignorer la prédiction d’APACHE III et de mener à bien son propre choix. On peut cependant se demander si, dans les faits, il le ferait. Après tout, dans la culture procédurière actuelle, le médecin court le risque d’être tenu pour responsable s’il suit des intuitions erronées. De plus, la question se pose de savoir si le médecin doit être tenu pour responsable moralement parce qu’il a choisi d’ignorer les prédictions du système. C’est pour cette raison que l’autonomie morale d’APACHE III semble par contraste s’accentuer. Dans ce cas précis, son accroissement n’est pas tant métaphorique, au sens où les actions techniques de l’homme peuvent parfois conduire à des effets secondaires inattendus et imprévus, mais bien plutôt littéral, au sens où le système des technologies de l’information acquiert lui-même des caracté- ristiques particulières que l’on attribue à des agents moraux. Alors même que le système n’est pas conscient de soi et qu’il reçoit ses valeurs d’une source externe – ce en quoi, soit dit en passant, il ressemble à un enfant recevant une éducation morale – il développe véritablement quelque chose qui avoisine une intentionnalité immanente en ce qui concerne les moyens6.

Le problème de la corrosion de l’autonomie humaine est encore accru lorsque se pose la question de savoir si les êtres humains doivent toujours être autorisés à passer outre ou ignorer les décisions d’un système. Certains avions, tel le Boeing 777, volent entièrement par commandes de vol électriques, c’est-à-dire en pilotage automatique. Le pilote peut à tout moment reprendre le contrôle quand il l’estime nécessaire. Cela paraît être une solution sensée si l’on tient compte du fait que la « technologie réelle existante » est loin d’être infaillible. On peut citer de nombreux exemples de désastres techniques et moraux qui furent causés par un mauvais fonc- tionnement de programmes informatiques (comme la série d’accidents survenus à des Airbus A320 à cause d’insectes présents dans l’autopilote), ou de désastres survenus, comble de l’ironie, parce que le programme a bel et bien fonctionné convenablement (comme ce fut le cas, par exemple, dans l’effondrement du marché des changes en 1987, lorsque le fonction- nement impeccable du système des ventes automatisées des stocks a conduit à une chute spectaculaire du marché des changes). Mais d’un autre côté, dans la mesure où l’homme est également loin d’être infaillible, il peut être à son tour judicieux d’autoriser un programme à passer outre un agent humain, dans le but de corriger des actions que des êtres humains accomplissent par mégarde (par panique) ou délibérément (une attaque terroriste) et qui conduiraient de manière presque certaine à un désastre.

Les machines sujets

Le troisième type de délégation, qui va encore plus loin, est lié aux systèmes d’expertise « auto-apprenants » conçus à partir d’algorithmes génétiques et de réseaux neuronaux. Ces systèmes d’expertise auto-appre- nants ne décident pas simplement des moyens à utiliser, comme le fait APACHE III, mais fixent aussi les objectifs moraux et les valeurs morales à atteindre. Mi-réaliste mi-imaginaire, un exemple intéressant d’un tel système est fourni par Éric Steinhart dans un article portant sur les valeurs émergentes des automates7. L’auteur décrit un réseau d’électricité intelligent se composant de centrales électriques, d’interrupteurs, de transformateurs, d’objets électroniques, d’ordinateurs ainsi que de constructeurs humains et de consommateurs. Les fils connectant ces nœuds ne se contentent pas de transporter de l’électricité, ils véhiculent également des informations. Le système est conçu pour distribuer l’électricité de la façon la plus effi- cace et la plus fiable possible. Efficacité et fiabilité sont des valeurs implan- tées dans le système par les êtres humains. Dans sa première phase de développement, le réseau d’électricité ne se distingue pas des systèmes de freinage automatique ou d’expertise décrits plus haut. Mais tandis que ce sont les hommes qui prescrivent ce que le réseau doit réaliser, c’est le réseau lui-même qui décide pour une grande part de la manière dont il va s’y prendre pour développer ces valeurs. Dans le réseau de Steinhart, les agents logiciels négocient les uns avec les autres pour acheter pour le compte de leurs propriétaires l’énergie électrique aussi bon marché que possible. Mettons que vous souhaitiez avoir du pain grillé le matin mais que le prix de l’électricité soit à ce moment très élevé ; l’agent logiciel du grille-pain essaiera, par exemple, d’emprunter quelques watts à la machine à laver ou au système de chauffage. S’il réussit, vous pourrez faire griller votre pain ; s’il échoue, vous devrez vous passer de votre pain grillé ce matin-là mais aurez du moins atteint l’objectif prévu – réduire votre facture d’énergie ou préserver l’environnement.    

Il est également possible de concevoir ce genre de système de telle façon qu’il s’auto-organise et qu’il commence à formuler ses propres objectifs. On peut tout à fait imaginer qu’il développe de nouveaux modèles de distribution garantissant la répartition de l’électricité sur le long terme (une valeur émergente) aux dépens de la satisfaction immédiate des besoins des consommateurs d’aujourd’hui. La délégation de moralité est, dans ce cas, poussée encore un peu plus avant et l’autonomie morale du système s’en trouve une nouvelle fois accrue. Le système ne se limite désormais plus au choix des moyens (moraux) mais il décide aussi des objectifs (moraux). Quoiqu’un tel système intentionnel manque encore de conscience de soi, il est pourtant devenu, en dépit de cela, un agent comportant un degré considérable d’autonomie : « Le réseau électrique semble être malin ou intelligent, mais il n’en est rien : c’est juste un système auto-organisateur complexe. Il ressemble davantage à un système immunitaire qu’à un esprit. Il n’est pas conscient ou conscient de soi. Mais penser n’est pas nécessaire pour agir. Le réseau électrique ne pense pas, il agit. Il agit tout seul. Son action est involontaire et stupide. Néan- moins, cette action est politique dans la mesure où elle est libre et qu’elle nous affecte. »10

On peut légitimement se demander si le réseau décrit par Steinhart doit être considéré comme un agent moral responsable et tenu comptable de ses actions. La réponse à cette question dépend en partie de la façon dont on répond à une autre question, celle de savoir si la conscience de soi est une condition nécessaire pour considérer qu’une entité agit de façon morale. Si l’on répond par l’affirmative à cette dernière question, beau- coup dépend alors de savoir si oui ou non les systèmes qui s’auto-organi- sent développeront jamais une conscience. Si à mon avis on ne peut exclure cette hypothèse, ce problème n’est pas vraiment pertinent pour la question posée ici. Même si l’on est peu disposé à qualifier un réseau d’agent moral au sens humain du terme, il faut néanmoins admettre que c’est un système qui agit de manière autonome et qui exerce une influence plus ou moins impérative sur les actions morales de ses utilisateurs humains.    

Face à ce constat, l’ « externalisation » progressive de la moralité semble confirmer la relativisation de l’éthique évoquée un peu plus haut. Alors que dans le premier type de délégation, l’agent moral humain demeure responsable du développement et de la mise en application des règles morales, dans le deuxième type il le demeure seulement dans un sens dérivé ; et dans le troisième, qui correspond à la forme la plus poussée de la délégation, l’agent moral humain ne prend plus aucune part à la mora- lité du système d’information. 

Les médiatrices morales

Toutefois, il y a de bonnes raisons de mettre en doute l’idée que la délé- gation de la moralité à des systèmes informatiques, même dans le cas extrême du troisième type, sape l’action morale des êtres humains. Après tout, on ne peut tirer cette conclusion que si l’on considère les ordinateurs et les hommes comme deux entités strictement distinctes, et au-delà, si l’on considère que la formulation d’objectifs moraux doit être un sujet exclusivement réservé aux êtres humains et que les technologies ne sont que de simples fournisseurs de moyens neutres. C’est uniquement sur la base de telles prémisses que la délégation d’objectifs à un système informa- tique peut être considérée comme une perte radicale d’autonomie morale. Cependant, ces deux prémisses posent problème.   

À la suite de l’anthropologue et philosophe Plessner, on pourrait avancer que l’homme est « artificiel par nature ». L’homme se caractérise par un dénuement fondamental qui conditionne et sous-tend toute impulsion, conduite, désir ou besoin subjectifs. Selon cette interprétation, l’homme ne devient lui-même qu’à travers les moyens additionnels de la technologie et de la culture. Ces suppléments ne sont pas de simples instruments de survie pour les être humains mais bien plutôt une « néces- sité ontique »8. Cela signifie qu’en dépit de leur altérité, ces suppléments font partie intégrante du soi. La vie humaine se déploie dans l’ensemble hétérogène de sa base organique et de ses suppléments. Ainsi, alors qu’une technologie de base telle que l’écriture ne fait pas réellement partie de l’or- ganisme, elle est néanmoins connectée aux structures cognitives de l’humanité savante de manière indissoluble. La délégation de la mémoire au supplément qu’est l’écriture ne signifie effectivement pas que l’écriture soit entièrement « hors » des hommes. Au contraire, elle est entremêlée au corps et à l’esprit par une multitude de relations : l’écriture dirige notre main, notre attitude, notre mémoire et notre imagination, elle ouvre un tourbillon de mondes nouveaux, elle élargit notre répertoire cognitif et notre champ d’actions possibles et, dans ce processus, elle étend notre liberté. Par opposition, ce que nous appelons « humain » n’est pas entière- ment « hors » de l’écriture. L’écriture fait partie intégrante de ce qui cons- titue l’être humain. Or on peut en fait dire la même chose pour tout objet culturel ou technique. À partir du moment où il a commencé à utiliser des outils, l’homme est devenu un cyborg, c’est-à-dire un être fait partielle- ment d’un organisme et partiellement de culture et de technologie9.

C’est là une idée qui a dès son origine rencontré beaucoup de résistance dans la philosophie occidentale. Dans le Phèdre, Platon donne une formu- lation très critique du problème de la délégation de la mémoire humaine à écriture. Dans le mythique dialogue opposant son inventeur Theuth au roi égyptien Thamous : « C’est l’oubli, dit ce dernier, que versera l’écriture dans les âmes de ceux qui l’auront apprise, et qui négligeront leur mémoire, parce qu’ils se fieront à l’écriture et que c’est de l’extérieur, par des empreintes étrangères, et non de l’intérieur, par eux-mêmes, qu’ils se remémoreront les choses. [...] À tes disciples, c’est l’apparence du savoir, et non pas le vrai savoir que tu procures ainsi : lorsque grâce à toi ils auront lu mille choses sans en avoir reçu l’enseignement, ils donneront l’impression d’en savoir beaucoup, alors que dans la plupart des cas ils seront ignorants, et difficiles à supporter, car ils seront de faux savants, et non pas des savants. »11

La position prise par Platon se retrouve souvent dans les débats concernant la délégation de tâches cognitives à des ordinateurs. Lors de ces débats, on avance également l’idée que la délégation à une machine distincte de soi – dans ce cas non pas de productions de la pensée mais des processus mêmes de la pensée morale et rationnelle – sape totalement l’autonomie humaine. Dans les deux cas, le fait que les « moyens » techniques fassent partie inté- grante de notre structure cognitive organisée est ignoré mais, chose encore plus importante, on néglige le fait que dans cette structure soient créées de nouvelles capacités « typiquement humaines »12. La délégation de la mémoire à l’écriture soulage notre structure cognitive de la tâche du souvenir et offre des opportunités de développer de nouveaux modes de rationalité et de moralité. On peut s’attendre à ce que des événements similaires se produisent lors d’une délégation de nos capacités morales et rationnelles à des ordina- teurs et des systèmes experts. Cette délégation n’implique pas un appauvris- sement de l’autonomie humaine, elle entraîne au contraire son extension. Dans tous les cas cependant, l’autonomie humaine est une autonomie complétée qui se caractérise par une extériorité et une altérité irréductibles.    On trouve chez Bruno Latour un point de vue similaire en ce qui concerne les implications morales de la médiation technologique. Latour rejette l’hypothèse selon laquelle l’éthique humaine formule des objectifs moraux tandis que la technologie se contente de fournir les moyens pour réaliser ces objectifs. La technologie nous fournit toujours un détour vers les objectifs que l’on souhaite atteindre : « Si nous ne réussissons pas à reconnaître combien l’utilisation de la technique, même simple, a déplacé, traduit, modifié et infléchi notre intention initiale, c’est tout simplement parce que nous avons changé la fin en changeant les moyens, et parce qu’à travers ce changement de volonté, nous avons commencé à vouloir une chose bien différente de ce que nous désirions à l’origine. [...] Sans détours technologiques, ce qui est proprement humain ne peut exister. Les technologies bombardent les êtres humains d’offres incessantes de situations jusque-là inouïes : des engagements, des suggestions, des possi- bilités, des interdictions, des habitudes, des positions, des aliénations, des prescriptions, des calculs, des souvenirs. »13

En tentant de restaurer la « dignité ontologique » de la technologie, Bruno Latour pose régulièrement dans son travail la question de la normalisation des objets. Dans l’article cité, il reconnaît avoir peut-être « un peu exagéré » lorsqu’il parlait des « dilemmes cornéliens de la cein- ture de sécurité »14. Mais dans la mesure où les valeurs et normes humaines sont implantées dans les technologies telles que les ceintures de sécurité ou les programmes de protection de la vie privée, cette relativisation est correcte. J’ai soutenu un peu plus haut qu’on ne parlerait pas dans de tels cas d’agents moraux autonomes – à moins qu’on n’utilise ce terme pour désigner ce qui est imprévu ou involontaire du point de vue humain. Cependant, nous avons vu dans les exemples d’APACHE III et du réseau électrique que ce sont des dispositifs comportant un certain degré d’auto- nomie et d’intentionnalité. Même là cependant, les structures autonomes ne sont pas entièrement distinctes de nous-mêmes ; elles peuvent devenir un moment de l’expansion de notre structure cognitive. Si c’est bien le cas, c’est que nous les incorporons dans le champ hétérogène des forces auquel nos émotions, nos considérations rationnelles, nos besoins, nos disciplines et nos objectifs culturels et artificiels appartiennent eux aussi.    

La délégation de notre mémoire à l’écriture ainsi que de certains processus de pensée à l’ordinateur nous a conduits à et rendus capables de développer de nouvelles capacités cognitives. En retour, celles-ci nous ont permis d’incorporer cette mémoire externe et ce cerveau artificiel dans notre propre structure cognitive. Tout en gardant la critique platoni- cienne à l’esprit, la tâche que nous devons nous fixer est de songer à empê- cher que la délégation de notre mémoire ne devienne lettre morte et un processus étranger à nous-mêmes.

De façon similaire, l’allégement que la délégation de nos capacités morales aux machines et systèmes offre à notre « organe moral », nous met au défi de développer de nouvelles facultés morales nous permettant d’in- corporer à notre moralité humaine les processus à l’œuvre dans ces machines et systèmes. En matière d’éthique le défi est d’empêcher le champ hétérogène des forces de la moralité vivante de se calcifier en un système fonctionnel aveugle. On ne peut accomplir cette tâche en préten- dant regagner le contrôle « total » de tous les aspects du raisonnement moral, ou en tentant d’introduire à toute force et à nouveau nos objectifs « propres » dans nos technologies. Agir ainsi reviendrait à commettre une grave erreur d’appréciation non seulement sur la nature de la technologie mais aussi sur la complexité sans précédent de nos sociétés actuelles. Au contraire, l’éthique doit « dévier les trajectoires » « aussi souvent que nous souhaitons avancer à toute vitesse en établissant [de telles] trajectoires, de façon à ce qu’un même objectif puisse foncer à leurs côtés en sifflant tel un train à grande vitesse » ; et elle doit constamment prêter attention « à tous les croisements et voies de garage perdues »15.

                                       ***

On ne peut nier le fait que la délégation de notre moralité à la technologie soit dangereuse. Ce processus s’accompagne d’une peur – telle une ombre – que la technologie ne se retourne contre nous – soit en fonction- nant (trop) bien, soit en dysfonctionnant – et qu’elle n’en vienne à détruire notre humanité ou même l’espèce humaine comme telle16. Ce risque est réel et ne peut jamais être oublié. Cependant, il ne faut pas non plus oublier que c’est cette même technologie qui nous a donné, entre autres, notre huma- nité et notre moralité il y a de cela plusieurs millions d’années. Cette ambi- guïté fondamentale du supplément technologique se reflète inévitablement dans notre humanité : « L’inhumanité n’est pas circonscrite à un âge spéci- fique ou à une splendeur historique particulière, elle est bien plus une possi- bilité donnée à l’homme de s’ignorer lui-même et d’ignorer ses pairs. »17

(Traduction de l’anglais par Clémentine Chaigneau, revue par Paul Mathias.)

Notes

1. Wiebe E. Bijker, « Démocratisation de la culture technologique », in La Nouvelle Revue, CVI / 9, 1997, p. 37-47.    

2. L’acronyme anglais est PET, pour Privacy Enhancing Technologies.

3. J. Borking et C. Raab, « Laws, PETs and other technologies for privacy protection » (article disponible à l’adresse : http://elj.warwick.ac.uk/jilt/01-1/borking.html).

4. Voir le site internet des systèmes médicaux APACHE à l’adresse suivante : http://www.open-clinical.org/aisp_apache.html.

5. APACHE calcule d’une manière proprement utilitaire le nombre d’années de vie plutôt que « les vies proprement dites ». Cela signifie que du point de vue d’APACHE il vaut mieux sauver une personne de 60 ans quand il ou elle gagnera dix années de vie grâce aux soins intensifs plutôt qu’un jeune de 20 ans qui n’en gagnera que cinq. Ces calculs sont bien sûr fondés sur la moyenne passée des années de vie gagnées attendues. Un dommage de type X signifie que le nombre attendu d’années de vie est de dix ans pour une personne de 60 ans ; un dommage de type Y pour une personne de 20 ans entraînerait un gain de cinq ans de vie, etc.

6. À comparer avec l’argument de Mark Okrent qui, s’inspirant de la critique heideggérienne du primat cartésien de la conscience, veut qu’on attribue une intentionnalité à des entités même lorsqu’on ne peut pas leur attribuer une conscience de soi (voir « Why the mind isn’t a program (but some digital computer might have a mind) », article disponible à l’adresse : http://ejap.louisiana.edu/EJAP/1996.spring/okrent.1996.spring.html).

7. E. Steinhart, «Emergent values for automatons : Ethical problems of life in the generalized Internet», in Ethics and Information Technology, 1 (2), 1999, p. 155-160.

8. Helmut Plessner, Die Stufen des Organischen und der Mensch, Einleitung in die philosophische Anthropologie, vol. IV : Gesammelte Schriften, Francfort, Suhrkamp, 1975, p. 396.

9. Jos de Mul, « Digitally mediated (dis)embodiment. Plessner’s concept of excentric positionality explained for Cyborgs », Information, Communication & Society, 6 (2), 2003, p. 247-266.

10. E. Steinhart, op. cit., p. 158.

11. 275 a - 275 b, trad. Létitia Mouze, Paris, Le Livre de poche, 2007, p. 303.

12. Ce caractère de répartition ne s’applique pas seulement à la distribution de la structure cognitive entre les êtres humains et leurs objets culturels et technologiques, mais il s’applique également à la pensée humaine en tant que telle, qui n’est pas une unité mais consiste en de nombreux sous-systèmes hétérogènes (voir M. Minsky, The Society of Mind, New York, Simon & Schuster, 1985).

13. Bruno Latour, « Morality and technology : The end of the means », in Theory, Culture,Society, 19 (5/6), 2002, p. 252.

14. Ibid., p. 254.

15. Bruno Latour, op. cit., p. 257.

16. Kubrick a majestueusement représenté cette peur dans son film 2001 : l’odyssée de l’espace, dans lequel l’ordinateur de bord « auto-apprenant », HAL, se retourne contre l’équipage pour mettre hors de danger la réalisation de sa mission, atteindre la planète Jupiter.

17. Helmuth Plessner, « Unmenschlichkeit », In Mit anderen Augen : Aspekte einer philosophischen Anthropologie, Stuttgart, Reclam, 1982.