Allons-nous adopter le fétichisme de l’IA ? De nombreuses cultures considèrent les robots comme des quasi-humains

Pour voir la force du propos de Keane, il suffit de considérer Ray Kurzweil, un penseur éminent sur l’IA et chercheur principal dans l’une des entreprises les plus puissantes du monde, Google. Kurzweil a également un livre, The Singularity Is Nearer, dans lequel il reprend le projet sur lequel il est depuis des dizaines d’années d’encourager à fusionner avec des systèmes informatiques super-intelligents. Kurzweil ne pense pas en termes de culture, de tradition ou de mode de vie, mais uniquement en termes d”humains’ génériques. Ce que nous voulons tous, affirme-t-il, c’est ‘un plus grand contrôle sur qui nous pouvons devenir’, que ce soit en prenant des drogues pour manipuler notre chimie cérébrale ou en subissant une chirurgie de réattribution de genre. Ainsi, l’intégration avec les ordinateurs doit être désirable, car ‘une fois que nos cerveaux sont sauvegardés sur un substrat numérique plus avancé, nos pouvoirs d’auto-modification peuvent être pleinement réalisés’. Les humains vivront alors indéfiniment et deviendront ‘vraiment responsables de qui nous sommes’. Cette vision est à la fois grandiose et incroyablement étroite d’esprit. Enfermé dans sa variante utopique du matérialisme séculier, il semble que Kurzweil ne puisse pas comprendre qu’une bonne vie pourrait être une vie finie, que d’autres principes pourraient revendiquer la souveraineté sur le désir individuel, ou que l’acceptation de nos limitations et de notre faillibilité pourrait être intégrale au bonheur.

Kurzweil soutient également les Principes d’Asilomar sur l’IA (rédigés lors d’une conférence en Californie, bien sûr), qui stipulent que les machines intelligentes devraient être ‘compatibles avec les idéaux de dignité humaine, de droits, de libertés et de diversité culturelle’. Cela semble charmant, mais essayez d’appliquer ces principes aux bouddhistes thaïlandais avec lesquels nous avons commencé. Quelle dignité et quelle liberté devraient primer — le parent souffrant qui ne veut pas de traitement supplémentaire, ou les fils et filles qui se sentent contraints de le fournir quoi qu’il arrive ? Les systèmes de santé publique devraient-ils payer pour ‘des voyages douloureux et coûteux à l’hôpital et le trajet de retour’, même s’ils sont ‘en termes biomédicaux, inutiles’ ? Comment devrions-nous évaluer le karma comme un facteur, compte tenu de ses conséquences pour le cycle bouddhiste des renaissances ?

Dans Animals, Robots, Gods, Keane explore la vie morale au-delà des catégories abstraites privilégiées par le WEIRD. S’ils doivent être quelque chose de plus que des expériences de pensée, il souligne que les systèmes moraux doivent répondre aux conditions qui existent à un moment et un endroit particuliers ; ils doivent fournir ‘des façons possibles de vivre’. En d’autres termes, ‘vous ne pouvez tout simplement pas vivre les valeurs d’une religieuse carmélite sans système monastique, ou d’un guerrier mongol sans cavalerie.’ Cela peut sembler être le relativisme dangereux d’un anthropologue. Pourtant, cela illustre simplement que, comme l’a soutenu le philosophe Alasdair MacIntyre, la recherche de la vérité morale est nécessairement une quête continue : un effort constant pour développer nos principes en relation avec de nouvelles circonstances. Bien sûr, ce n’est  jamais à nous de choisir les principes et les circonstances avec lesquels nous commençons.

Cela dit, il existe des points communs à travers une gamme de cultures morales. Cela inclut le fétichisme, où, avec des degrés de sérieux variés, les cultures attribuent des capacités quasi-humaines (ou surhumaines) à des choses non humaines. Cette tendance permet une variété de relations morales au-delà de la sphère humaine immédiate, y compris avec des animaux, des parents décédées ou dans le coma, des artefacts inanimés et des divinités invisibles. Et avec nos instincts moraux ancrés localement, ils façonnent également notre relation avec la technologie. ‘Lorsque les gens conçoivent, utilisent et réagissent à de nouveaux dispositifs,’ écrit Keane, ‘ils s’appuient sur des habitudes, des intuitions et même des souvenirs historiques existants.’ De tels dispositifs arrivent toujours dans des cultures avec leurs propres façons de personnifier l’impersonnel. Au Japon, Keane suggère que l’héritage du shintoïsme rend les gens plus enclins à traiter les robots comme des créatures vivantes, mais aussi moins inquiets de leur agence morale ; ils supposent que les robots, comme les gens, seront contraints par des rôles et des structures sociales.

Les sociétés occidentales ont leurs propres formes de fétichisme, que Keane examine en relation avec des modèles de langage de grande taille tels que GPT-4. Puisque ces algorithmes ne font que assembler des mots et des phrases selon des probabilités, ils n’ont aucun sens de la signification de leurs déclarations. En fait, ils n’ont aucun sens de quoi que ce soit. C’est nous, leurs utilisateurs, qui ‘devons jouer un rôle actif en acceptant que cela ait un sens’. Et nous faisons plus que cela. Évoquant des pratiques religieuses arcaniques telles que la divination et la glossolalie, nous prenons l’inscrutabilité même de l’algorithme comme preuve de ‘pouvoirs spéciaux et d’intuition’.

Encore une fois, il est difficile de ne pas être rapprocher ceci de la vision messianique de Kurzweil sur l’intelligence artificielle. Bien que son dernier livre évite ses spéculations antérieures sur une grande explosion eschatologique de la puissance de calcul, qui un jour transformera toute la matière de l’univers ‘en formes d’intelligence exquisément sublimes’, il nous encourage à embrasser l’IA comme un fétiche. Un algorithme peut ‘penser’ par des mécanismes entièrement différents des nôtres, soutient Kurzweil, mais s’il peut ‘proclamer éloquemment sa propre conscience’, nous devrions accepter qu’il possède en effet une ‘sensibilité valable’. C’est un bon rappel que le WEIRD et le bizarre ne sont que rarement aussi éloignés l’un de l’autre qu’ils en ont l’air.

Ce que Animaux, Robots, Dieux ne considère pas, c’est le contexte politique qui a produit des figures telles que Kurzweil. L’essor des technologies de calcul avancées dans la Silicon Valley a largement coïncidé avec une ère d’hégémonie américaine après la guerre froide. À cette époque, la ‘mondialisation’ signifiait la diffusion de produits et d’idées occidentaux, dans un cadre d’institutions internationales dominées par les États-Unis. En même temps, les centres d’affaires et de recherche attiraient des talents du monde entier, créant une illusion de diversité. Tout cela a permis aux élites occidentales de se persuader que les différences culturelles pouvaient être gérées par des règles morales globales et réductrices comme les ‘valeurs humaines’ énumérées dans les Principes de l’IA d’Asilomar.

Keane avertit que, même si différents peuples peuvent adapter les technologies à leurs propres modes de vie, beaucoup d’entre eux ressentiront toujours du ressentiment face à la perspective d’algorithmes puissants programmés selon des hypothèses occidentales. Vous ne pouvez pas rendre le monde entier WEIRD, soutient-il, ‘et si vous essayez, vous allez rencontrer beaucoup de résistance anti-coloniale’.

Mais il est trop tard depuis déjà quelque temps. De nombreuses sociétés en Extrême-Orient ont déjà des cultures technologiques distinctes. Le Parti communiste chinois a longtemps exclu les entreprises internet américaines du pays et régule étroitement la dimension morale des médias numériques, jusqu’à l’apparition de squelettes et de vampires dans les jeux vidéo. Il teste maintenant des algorithmes d’IA pour s’assurer qu’ils ‘incarnent les valeurs socialistes fondamentales’ — et évitent de répéter des informations politiquement sensibles. L’État russe cherche une autorité similaire. En Inde, les nationalistes hindous ont infusé le sens et le but de la technologie moderne avec leurs propres mythologies religieuses et politiques. Les réalisations attribuées à la science hindoue ancienne incluent la recherche sur les cellules souches, les engins spatiaux et Internet.

Ces dynamiques centrifuges continueront sûrement. À mesure que l’ordre mondial américain se fragmente, nos futurs technologiques se diviseront et se multiplieront également. Même si la Silicon Valley continue de fournir les outils les plus avancés, d’autres régions du monde sont suffisamment informées pour les utiliser à leurs propres fins. Si l’Occident n’aime pas cela, alors la Chine sera heureuse d’exporter des systèmes d’apprentissage automatique et du matériel intelligent, comme elle exporte déjà l’informatique en nuage et les systèmes de surveillance. Keane nous demande d’imaginer des robots confucéens, ou une intelligence artificielle comme conçue par des cultures qui situent le soi à travers plusieurs corps et vies. Celles-ci, aussi, pourraient bientôt être plus que des expériences de pensée.

---

Wessie du Toit writes about culture, design and ideas. His Substack is The Pathos of Things.

wessiedutoit