La singularité technologique – Intelligence artificielle, superintelligence et futur de l’humanité

 

La singularité technologique.

Intelligence artificielle, superintelligence et futur de l’humanité de Murray Shanahan

Comment vivra l'humanité dans le futur ?

Si l’intelligence artificielle (IA) continue de se développer à son rythme actuel, une singularité technologique pourrait se produire au milieu du siècle, avec le risque que nous soyons éclipsés par des entités dotées de capacités intellectuelles largement supérieures aux nôtres. À compter de cet événement, notre croissance technologique changera brusquement d’échelle, fruit d’une accélération inédite, et le progrès sera généré par ces entités non humaines ou posthumaines.

Cette idée à la fois inquiétante et fascinante fédère des ressources économiques considérables et alimente utopies, fantasmes et controverses.

Que nous croyions que la singularité est proche ou lointaine, probable ou impossible, qu’elle préfigure l’apocalypse ou l’avenir de l’humanité, cette idée qui soulève des questions cruciales nous oblige à réfléchir sérieusement au futur de l’humanité.

La singularité surviendra-t-elle un jour ? Si oui, en sommes-nous loin, ou tout proche ? Nos machines vont-elles devenir plus intelligentes et plus puissantes que nous ? Accéderons-nous à une forme d’immortalité en téléchargeant nos esprits sur des ordinateurs ?
 S’agit-il d’une prophétie autoréalisatrice ou d’un nouveau discours marketing du progrès ?



Murray Shanahan nous offre dans cet essai impartial un tour d’horizon complet et accessible pour comprendre la singularité technologique et découvrir tous les concepts qui s’y rattachent. Il décrit les progrès de l’IA et explique pourquoi la transition vers la superintelligence pourrait être très rapide. Il explore toutes les pistes technologiques qui peuvent y conduire, ainsi que les théories de Nick Bostrom, Eric Drexler, Ray Kurzweil, la théorie du grand filtre, etc. Et il analyse en profondeur toutes les questions technologiques, économiques, éthiques et sociétales qui en découlent.

Murray Shanahan montre que la singularité peut constituer à la fois une menace existentielle, mais aussi une opportunité pour l’humanité.

Ce livre n’est pas une œuvre de science-fiction. Ce n’est pas non plus un prétendu texte de futurologie. Il étudie tous les scenarii futurs possibles qui nous obligent à réfléchir à ce que nous voulons en tant qu’espèce. Car la délégation aux machines pilotées par l’intelligence artificielle de véritables tâches décisionnelles (conduire, élaborer un diagnostic médical, gérer un réseau de distribution d’énergie ou des forces de police, noter des copies d’examen, etc.) a déjà commencé. Et les progrès de l’IA sont fulgurants.

Prix public : 20 euros TTC
 Broché 216 pages
 Collection : Vertiges
 ISBN :  978-2-36405-139-3`

Mars 2018

 

 

Murray Shanahan est professeur de robotique cognitive à l’Imperial College de Londres. Reconnu comme référence mondiale dans les domaines de l’intelligence artificielle, de la robotique et des sciences cognitives, il est l’auteur de nombreux ouvrages publiés par The MIT Press. Il a été conseiller scientifique du film Ex Machina.

 

 

 

 

 

Sommaire :

Chapitre 1     Sur le chemin de l’intelligence artificielle (IA)
Chapitre 2    L’émulation du cerveau entier (WBE)
Chapitre 3    Le génie de l’IA
Chapitre 4    Super-intelligence
Chapitre 5     IA et conscience
Chapitre 6     Les incidences de l’IA
Chapitre 7     Enfer ou paradis

 

Avant-propos

Comme beaucoup d’autres qui ont consacré leur vie professionnelle à la recherche en intelligence artificielle, j’ai été inspiré dès mon enfance par la science-fiction. Mon héros de l’époque n’était pas une personne réelle. C’était Susan Calvin, la scientifique des récits d’Isaac Asimov, intitulés I, Robot(les œuvres écrites, pas le film), qui a ouvert la voie dans le domaine de la psychologie robotique. Quand j’étais enfant, je voulais être comme elle, personne d’autre ne m’inspirait autant. Maintenant que j’ai (en quelque sorte) grandi et que j’ai dans la vraie vie le titre de professeur de robotique cognitive, j’ai une relation plus complexe avec la science-fiction. Je la considère toujours comme une source d’inspiration et un moyen d’explorer des idées philosophiques importantes. Cependant, les idées qu’elle explore méritent un traitement plus approfondi. Le but premier de la science-fiction est de divertir, bien que cela soit intellectuellement stimulant. Ce serait une erreur de s’en servir comme guide de réflexion.

Ce livre n’est donc pas une œuvre de science-fiction. Ce n’est pas non plus un prétendu texte de futurologie. Le but n’est pas de faire des prédictions. Il s’agit plutôt d’étudier toute une série de scénarii futurs possibles, sans en privilégier un seul en particulier et sans tenir compte d’un calendrier précis. En effet, même les scénarii les plus improbables ou éloignés méritent parfois d’être étudiés. C’est le cas, par exemple, si un scénario est particulièrement dystopique. Dans ce cas, nous devrions réfléchir sérieusement à la manière d’éviter que cela se produise. Des scénarii improbables ou éloignés sont également dignes d’attention s’ils soulèvent des questions philosophiques intéressantes, nous obligeant, par exemple, à réfléchir à ce que nous voulons vraiment en tant qu’espèce. Donc, que vous croyiez ou non à la création, dans un avenir proche, d’une intelligence artificielle de niveau humain, que vous pensiez ou non que la singularité est proche, l’idée même mérite une réflexion sérieuse.

Cet ouvrage couvre un sujet très vaste. Il s’agit donc d’une large entrée en matière, plusieurs questions importantes étant traitées de manière non exhaustive. Par exemple, pour de nombreux arguments qui ont trait à la conscience, il existe des contre-arguments bien connus qui mériteraient d’être discutés. Mais un livre à caractère introductif doit passer outre ces subtilités. Aussi, l’accent est mis sur le futur de l’intelligence artificielle. Cet ouvrage a pour but de fournir un aperçu neutre du domaine conceptuel et, pour les questions controversées, j’ai tenté de présenter les deux côtés de l’argumentation. Néanmoins, malgré tous mes efforts, il semble inévitable que certains de mes points de vue transparaissent en filigrane dans mes propos.

 

Extrait de l’introduction

Ces dernières années, l’idée que l’histoire de l’humanité se rapproche d’une « singularité » grâce à des progrès technologiques de plus en plus rapides est passée du domaine de la science-fiction à celui d’un débat sérieux. Dans le domaine de la physique, la singularité est un repère dans l’espace ou le temps, tel que le centre d’un trou noir ou l’instant du Big Bang, où les théories mathématiques et notre capacité de compréhension s’effondrent. Par analogie, une singularité dans l’histoire de l’humanité se produirait si les progrès technologiques exponentiels entraînaient des changements si spectaculaires que les affaires humaines, telles que nous les comprenons aujourd’hui, prendraient fin. Les institutions que nous tenons pour acquises — l’économie, le gouvernement, la loi, l’État — ne survivraient pas sous leur forme actuelle. Les valeurs humaines les plus fondamentales — le caractère sacré de la vie, la quête du bonheur, la liberté de choisir — seraient remplacées. Notre compréhension même de ce que signifie être humain — être un individu, être vivant, être conscient, faire partie de l’ordre social —, tout cela serait remis en question, non pas par le biais d’une réflexion philosophique, mais par la force des circonstances, réelles et présentes.

Quel genre de progrès technique pourrait causer un tel bouleversement ? L’hypothèse que nous allons examiner dans ce livre est qu’une singularité technologique de ce genre pourrait être précipitée par des avancées significatives dans l’un ou l’autre domaine connexe (ou les deux) : l’intelligence artificielle (IA) et les neurotechnologies. Nous savons déjà comment bricoler le vivant avec les gènes et l’ADN. Les ramifications des biotechnologies sont assez étendues, mais elles sont éclipsées par celles issues de l’ingénierie des « choses de l’esprit ».

Aujourd’hui, l’intellect est, d’une certaine façon, figé, ce qui limite à la fois l’étendue et le rythme du progrès technologique. Bien sûr, le stock de connaissances humaines s’est accru depuis des millénaires et notre capacité à diffuser ces connaissances s’est amplifiée grâce à l’écriture, à l’imprimerie et à internet. Pourtant, l’organe producteur de savoir, le cerveau de l’homo sapiens, est resté fondamentalement inchangé tout au long de cette période et ses prouesses cognitives sont restées inégalées.

Cela changera si les domaines de l’intelligence artificielle et de la neurotechnologie tiennent leurs promesses. Si l’intellect devient, non seulement le producteur, mais aussi un produit de la technologie, alors un cycle de rétroaction avec des conséquences imprévisibles et potentiellement explosives peut en résulter. Car quand la chose que l’on est en train d’inventer est l’intelligence elle-même, la chose même qui fait l’ingénierie, elle peut se mettre au travail pour sa propre amélioration. D’ici peu, selon l’hypothèse de la singularité, l’être humain lambda se retrouvera hors circuit, faute de pouvoir suivre le rythme, dépassé par des machines dotées d’intelligence artificielle ou par une intelligence biologique cognitivement améliorée.

Quand la chose que l’on est en train d’inventer est l’intelligence elle-même, la chose même qui fait l’ingénierie, elle peut se mettre au travail pour sa propre amélioration.

L’hypothèse de la singularité mérite-t-elle d’être prise au sérieux ou s’agit-il simplement d’une pure fiction ? Un des arguments incitant à la prendre au sérieux s’appuie sur ce que Ray Kurzweil appelle la « loi du retour accéléré ». Un secteur technologique est soumis à la loi des retours accélérés si le rythme auquel la technologie s’améliore est proportionnel à la qualité de la technologie. En d’autres termes, plus la technologie est performante, plus elle s’améliore rapidement, ce qui se traduit par une amélioration exponentielle au fil du temps.

Un exemple marquant de ce phénomène est la loi de Moore, selon laquelle le nombre de transistors sur une seule puce double tous les dix-huit mois environ. D’autres indices de progrès des technologies de l’information, tels que la vitesse d’horloge du processeur et la bande passante du réseau, ont suivi des courbes exponentielles similaires. Mais les technologies de l’information ne sont pas le seul secteur où l’on constate une accélération des progrès. En médecine, par exemple, le coût du séquençage de l’ADN a diminué de manière exponentielle, tandis que sa vitesse d’exécution augmentait, et la technologie de l’imagerie cérébrale a connu une augmentation exponentielle de la résolution.

À l’échelle historique, ces tendances accélérées s’inscrivent dans le contexte d’une série de jalons technologiques qui se succèdent à des intervalles de plus en plus rapprochés : agriculture, imprimerie, électricité, informatique. Sur une échelle de temps encore plus longue, celle de l’évolution, cette série technologique a elle-même été précédée d’une séquence de jalons évolutifs qui se sont également posés à des intervalles de plus en plus rapprochés : eucaryotes, vertébrés, primates, homo sapiens. Quoi qu’il en soit, il suffit d’extrapoler la partie technologique de la courbe pour atteindre un point de basculement important, le moment où la technologie humaine rend la technologie humaine ordinaire techniquement désuète.

Bien sûr, toute tendance technologique exponentielle doit atteindre un plateau à terme, grâce aux lois de la physique, et il y a un certain nombre de raisons économiques, politiques ou scientifiques pour lesquelles une tendance exponentielle pourrait stagner avant d’atteindre sa limite théorique. Mais supposons que les avancées technologiques les plus pertinentes pour l’IA et la neurotechnologie maintiennent leur élan, accélérant la capacité d’inventer la matière des « choses de l’esprit », de synthétiser et manipuler la machinerie même de l’intelligence. L’intelligence elle-même, qu’elle soit artificielle ou humaine, deviendrait alors assujettie à la loi du retour accéléré et il n’y aurait qu’un petit saut à franchir pour atteindre la singularité.

Certains auteurs prédisent avec assurance que ce tournant décisif aura lieu au milieu du xxie siècle. Mais il existe d’autres raisons de s’intéresser à la singularité que ces prophéties qui, de toute façon, sont un bon fonds de commerce pour leurs auteurs, mais restent très hasardeuses. Premièrement, le simple concept est intéressant d’un point de vue intellectuel, peu importe quand ou comment il se concrétise. Deuxièmement, la possibilité d’une singularité, aussi lointaine qu’elle puisse paraître, mérite d’être débattue aujourd’hui même pour des raisons purement pragmatiques et strictement rationnelles. Même si les arguments des futurologues peuvent être imparfaits, il suffit d’un minimum de probabilité pour accorder une grande attention à cet événement. Car si une singularité technologique venait effectivement à se produire, les conséquences pour l’humanité seraient cataclysmiques.

Quelles sont ces terribles conséquences ? Quel genre de monde, quel univers, pourrait naître si une singularité technologique survenait ? Doit-on craindre la perspective de la singularité ou s’en réjouir ? Et que pouvons-nous faire dès aujourd’hui ou dans un avenir proche pour garantir la meilleure issue possible ? Ce sont les principales questions qui seront abordées dans cet ouvrage. Ce sont de grandes questions. Mais la perspective, et même le simple concept, de la singularité, promet d’apporter un nouvel éclairage sur des interrogations philosophiques anciennes, qui sont peut-être encore plus vastes. Quelle est l’essence de notre humanité ? Quelles sont nos valeurs les plus fondamentales ? Comment devrions-nous vivre ? À quoi serions-nous prêts à renoncer ? La possibilité d’une singularité technologique présente à la fois un risque existentiel et une opportunité.

Un risque existentiel dans la mesure où cela menace potentiellement la survie même de l’espèce humaine. Cela peut sembler hyperbolique, mais les technologies émergentes d’aujourd’hui ont une puissance jamais vue auparavant. Il n’est pas difficile d’admettre qu’un virus hautement contagieux et résistant aux médicaments peut être génétiquement modifié pour atteindre un taux de mortalité suffisant à provoquer une hécatombe. Seul un fou créerait une telle chose délibérément. Mais il se peut qu’il faille un peu plus que de la folie pour mettre au point un virus capable de muter en un tel monstre. Les raisons pour lesquelles l’IA avancée pose un risque existentiel sont analogues, mais beaucoup plus subtiles. Nous allons les explorer ultérieurement. En attendant, il suffit de dire qu’il est rationnel d’envisager la possibilité future d’une société, d’un gouvernement, d’une organisation ou même d’un individu, créant et puis perdant le contrôle d’une intelligence artificielle avide de ressources et qui s’améliore elle-même de manière exponentielle. Sur une note plus optimiste, une singularité technologique pourrait aussi être considérée comme une opportunité « existentielle », au sens plus philosophique du terme. Car la capacité d’une « ingénierie de l’esprit », d’inventer la « matière de l’esprit », ouvre la possibilité de transcender notre patrimoine biologique et de dépasser ainsi ses limites, dont la principale est la mortalité. Le corps est une chose fragile, vulnérable à la maladie, aux accidents, à la décrépitude et à la putréfaction ; et le cerveau biologique — dont dépend (aujourd’hui) la conscience humaine — n’est qu’une de ses parties. Mais si nous acquérons les moyens de réparer n’importe quel niveau de dégât, et finalement de le reconstruire à partir de zéro, éventuellement dans un substrat non biologique, alors rien n’empêche l’extension illimitée de la conscience.

L’augmentation de la durée de vie est une des facettes du mouvement de pensée connu sous le nom de « transhumanisme ». Mais pourquoi devrions-nous nous contenter de la vie telle que nous la connaissons ? Si nous pouvons reconstruire le cerveau, pourquoi ne pas aussi le redessiner, le perfectionner ? (La même question pourrait être posée pour le corps humain, mais notre préoccupation est ici l’intellect.) Des améliorations de la mémoire, de l’apprentissage et de la capacité d’attention sont réalisables par des moyens pharmaceutiques. Mais la capacité de remanier le cerveau de A à Z suggère des formes plus radicales d’amélioration et de réorganisation cognitives. Que pouvons ou devons-nous faire de ces pouvoirs de transformateurs ? Au moins, et c’est un argument de poids, cela atténuerait le risque existentiel que posent les machines super intelligentes. Cela nous permettrait de suivre la cadence de leurs évolutions, même si nous pourrions être confrontés à des changements qui vont au-delà de notre connaissance et compréhension du processus.

Le sens le plus grand et le plus provocateur dans lequel une singularité technologique pourrait être une opportunité existentielle ne peut être saisi qu’en sortant complètement de la perspective humaine et en adoptant un point de vue plus cosmologique. C’est certainement le comble de la pensée anthropocentrique que de supposer que l’histoire de la matière dans ce coin de l’univers atteint son apogée avec la société humaine et la myriade de cerveaux vivants qui s’y trouvent, aussi merveilleux soient-ils. Peut-être que la matière a-t-elle encore un long chemin à parcourir sur l’échelle de la complexité ? Peut-être y a-t-il encore des formes de conscience qui doivent surgir et qui, dans un certain sens, sont supérieures à la nôtre. Devrions-nous battre en retraite face à cette perspective ou nous en réjouir ? Peut-on même saisir toute la portée d’une telle idée ? Que la singularité soit proche ou non, ces questions méritent d’être posées, notamment parce qu’en essayant d’y répondre, nous apportons un éclairage nouveau sur nous-mêmes et sur notre place dans l’ordre des choses.

Quelques médias qui parlent du livre :

Bertrand Lemaire

Article rédigé par Bertrand Lemaire, Rédacteur en chef de CIO

Depuis 1950 et l’article fondateur d’Alan Turing, le concept d’intelligence artificielle a fait couler beaucoup d’encre. Professeur de robotique cognitive à l’Imperial College de Londres, spécialiste de l’intelligence artificielle, Murray Shanahan a publié « The Technological Singularity » aux éditions du MIT. Cet ouvrage est aujourd’hui disponible en Français aux éditions Fyp sous le titre « La singularité technologique ». Il s’intéresse à l’intelligence artificielle sous un angle prospectif.
Une « singularité » est un moment ou un lieu où les lois habituelles structurant la perception ou le comportement humains ne s’appliquent plus. Les lois de la physique newtonienne ont ainsi été mises en échec lors de l’émergence de la Théorie de la Relativité, largement contre-intuitive. Les trous noirs constituent des singularités en physique. Et, en matière d’informatique, l’émergence d’une super-intelligence artificielle constituera sans aucun doute une singularité. Cette singularité pourrait être si forte que l’existence de l’homme ou la définition du concept d’humanitépourraient être remises en cause. Science-fiction ? Pas pour Murray Shanahan.

Un impact certain de l’IA sur le quotidien

Celui-ci rappelle ainsi, par exemple, le flash-crash de Wall Street du 6 mai 2010 (moins et plus 600 points en vingt-cinq minutes) dû selon toutes probabilités à des intelligences artificielles de courtage mal programmées. L’IA a donc bien déjà des impacts sur la vie quotidienne des humains.
Au fil de chapitres partant du passé et du présent pour aller vers un futur prospectif avec ses questions, Murray Shanahan décrit d’abord ce qu’est l’IA et comment il est possible d’envisager une IA de niveau humain à grands coups de ultra-Big Data et d’algorithmes complexes auto-apprenants. Puis il décrit ce que pourrait être une IA supra-humaine. Et ses conséquences. Trop « d’inconnues inconnues » (c’est à dire d’éléments dont l’existence même est inconnue et qu’il est impossible de décrire) empêchent, selon l’auteur, de prédire exactement l’émergence de la Singularité. L’absence de corps physique (même électronique) est un élément qui, pour Murray Shanahan, aurait de grandes conséquences sur les conceptions apprises par cette super-IA. Le chapitre de conclusion s’intitule « L’extase ou l’effroi » : on ne pourrait pas mieux dire.
La couverture n’est pas sans rappeler le « visage » de Hal 9000 dans « 2001, Odyssée de l’Espace ». Ce n’est pas très rassurant. L’auteur a été conseiller scientifique sur le magnifique film « Ex Machina ». Mais il n’évoque pas directement ces deux oeuvres majeures, notamment l’explication apportée par Arthur C. Clarke à la schizophrénie meurtrière de Hal 9000. C’est un peu dommage.

 

 

Un article et une interview de Usbek et Rica

 

IA super intelligente : un risque faible mais « cataclysmique »

Vincent Lucchese

La « singularité technologique ». Ce moment où une intelligence artificielle générale, plus intelligente que l’homme, arrivera, entraînant une rupture technologique si puissante que « les affaires humaines, telles que nous les comprenons aujourd’hui, prendraient fin ». À moins que l’humanité ne disparaisse purement et simplement. Dans La singularité technologique (éditions FYP, 2018), le spécialiste de robotique cognitive Murray Shanahandécrit les mécanismes et enjeux entourant l’intelligence artificielle et les conditions de son avènement. Si la réalisation d’une superintelligence n’est pas pour tout de suite, les dangers existentiels qu’elle fait peser sur l’espèce humaine méritent qu’on s’y attarde.Nous sommes encore extrêmement loin d’avoir les capacités de développer une hypothétique intelligence artificielle de niveau humain. Mais aussi ténue soit-elle, la probabilité de voir un jour émerger une « superintelligence » qui surpasse nos facultés cognitives mérite d’être considérée, et anticipée. « Car si une singularité technologique venait effectivement à se produire, les conséquences pour l’humanité seraient cataclysmiques. »Voilà, en gros, le message de Murray Shanahan, professeur de robotique cognitive à l’Imperial College de Londres. Son ouvrage La singularité technologique, publié il y a trois ans par The MIT Press, vient de paraître en français aux éditions FYP.

La supériorité des humains généralistes

Accessible, passionnant par les enjeux existentiels qu’il soulève, le livre ouvre plus de questions qu’il n’apporte de réponses. « Le but n’est pas de faire des prédictions. Il s’agit plutôt d’étudier toute une série de scénarii futurs possibles », précise l’auteur. Ce dernier arrive tout de même, en seulement 200 pages, à récapituler l’ensemble des défis techniques et problèmes éthiques entourant les avancées en matière d’intelligence artificielle. Une ressource précieuse pour recadrer les fantasmes et discours souvent caricaturaux qui surgissent de plus en plus lorsqu’on parle d’IA.

Murray Shanahan, professeur de robotique cognitive à l’Imperial College de Londres.

D’abord, aussi impressionnants soient les AlphaGo et consorts pour battre nos meilleurs champions humains à plate couture, il s’agit toujours d’intelligences artificielles ultraspécialisées. Leurs exploits ne les rapprochent pas encore d’une intelligence de niveau humain parce que nous avons l’énorme avantage d’être des généralistes.

« Je pense qu’une “vraie” IA générale est une de ces choses qu’il est difficile de définir mais que nous reconnaîtrons quand et si nous la voyons »

« Une façon de définir l’intelligence générale est la capacité à atteindre des objectifs dans une large variété d’environnements, nous précise Murray Shanahan. D’après cette définition, il est clair que rien ne peut aujourd’hui être qualifié d’intelligence artificielle générale (IAG), pas même un programme sophistiqué tel que AlphaGo de DeepMind. Mais cela laisse ouverte la question de ce qu’on définit comme “une large variété d’environnements”. DeepMind a récemment présenté AlphaZéro, un programme capable d’apprendre à jouer à de nombreux jeux de plateau à un niveau surhumain, y compris le Go et les échecs. Est-ce que ça en fait une IAG ? Pas vraiment. Un ensemble de jeux de plateaux n’est pas suffisant pour ça. Je pense qu’une « vraie » intelligence artificielle générale est une de ces choses qu’il est difficile de définir mais que nous reconnaîtrons quand et si nous la voyons. »

« Émulation de cerveau entier »

Pour advenir, une IAG pourrait donc s’inspirer des intelligences biologiques, qui ont notamment comme caractéristique fondamentale d’être « incarnées ». « Les capacités humaines pour le langage, la raison et la créativité reposent toutes sur une base sensorimotrice », écrit le chercheur. Une IA de niveau humain pourrait avoir besoin d’un corps et de sens, autrement dit se combiner à la robotique, pour comprendre et s’adapter à son environnement. Et une fois incarnée, une IA générale devrait encore résoudre le défi de se voir dotée de « bon sens » et de créativité.

Pour l’instant, nous ne savons toujours pas réaliser de simulation informatique fonctionnelle du système nerveux du ver nématode, qui comporte… 302 neurones

Pour résoudre ces colossaux problèmes technologiques, Murray Shanahan décrit deux pistes possibles pour construire les IA. Il pourrait soit s’agir d’IA « conçues à partir de zéro, selon des principes très différents de ceux qui régissent l’intelligence biologique », soit au contraire de machines « basées sur des réseaux neuronaux », qui imitent scrupuleusement l’intelligence biologique humaine, c’est-à-dire une « émulation de cerveau entier ».

Et l’auteur d’explorer cette seconde piste dans un chapitre fascinant, qui devrait freiner les ardeurs de ceux qui prophétisent l’arrivée imminente de la singularité. Une émulation du cerveau suppose de parfaitement cartographier celui-ci, de savoir ensuite le simuler, et encore de l’incarner. Or, notre cerveaucomporte plus de 80 milliards de neurones, auxquels il faut ajouter ceux du système nerveux périphérique. Encore faudrait-il cartographier les connexions entre chaque neurone, la force de chaque connexion synaptique et les informations contenues dans les cellules gliales. Entre autres. Pour l’instant, nous ne savons toujours pas réaliser de simulation informatique fonctionnelle du système nerveux du ver nématode, souligne l’auteur. Et celui-ci comporte… 302 neurones.

3 questions pour une IA générale

« Approche neuromorphique », « automate cellulaire à point quantique »… Le professeur Shanahan évoque différentes pistes qui, pour l’émulation de cerveau comme pour l’IA faite « à partir de zéro », supposent de prodigieuses avancées technologiques pour dépasser ces difficultés et contourner l’essoufflement apparent de la loi de Moore. Après avoir réexpliqué les mécanismes de l’apprentissage automatique et de l’apprentissage profond, il identifie trois questions à aborder, selon lui indispensables pour construire une intelligence générale :

– Tout d’abord, quelle est la fonction de récompense de cette IA générale ? (Chez l’humain, il s’agit de la nourriture, de l’eau et du sexe, dont l’obtention déclenche des mécanismes de récompense dans le cerveau, comme la fameuse dopamine).

– Ensuite, comment apprend cette IA ? (pour l’être humain, c’est grâce au langage et aux données issues de ses sens et ses interactions avec le monde).

– Enfin, comment cette IA générale maximise-t-elle sa récompense attendue ? (En ce qui nous concerne, nous pouvons innover, apprendre par transmission, via l’intelligence collective, etc.).

Si les nombreux défis techniques sont relevés et que ces trois questions sont associées dans une IA, alors nous pourrions faire émerger, à terme, une intelligence artificielle de niveau humain. Et une fois celle-ci atteinte, elle devrait rapidement donner naissance à une superintelligence qui surpasse totalement nos capacités, ne serait-ce que parce qu’elle aurait l’avantage de ne pas perdre de temps à manger, dormir et pourrait exploiter le parallélisme : une IA numérique pourrait aisément se dupliquer pour travailler simultanément sur différentes hypothèses et scénarios d’un problème. Sans compter qu’elle pourrait « s’autoaméliorer » grâce à ses nouvelles capacités supérieures, optimisant toujours plus ses facultés au fur et à mesure de ses gains d’intelligence. Et ainsi adviendrait la singularité.

Une IA inspirée du cerveau pourrait-elle souffrir ? Avoir des droits ? Être élue ?

Murray Shanahan, qui rappelle soigneusement que tout cela est spéculatif, mais d’une probabilité non nulle, ouvre alors des questions abyssales : une IA inspirée du cerveau serait-elle consciente ? Pourrait-elle souffrir ? C’est probable si l’on considère que la prise de décision est intimement liée aux émotions chez l’humain, rappelle l’auteur, et que l’on ne connaît a priori aucun type d’intelligence efficace sans qu’on ne le dote de la faculté de ressentir. Mais si tel est le cas, finirions-nous par lui accorder des droits ? La citoyenneté et le droit de vote ? Voire celui d’être élue ?

L’humanité asservie ou transformée en trombones

En fait, les droits d’une superintelligence devraient peut-être même être supérieurs à ceux d’un humain. Nous considérons, en général, que la vie humaine vaut plus qu’une vie animale au nom de nos capacités plus aiguisées à ressentir, penser et réfléchir consciemment sur nos propres sentiments. Mais ces capacités seraient très faibles par rapport à celles d’une superintelligence dotée d’un niveau de conscience plus élevé. « La plupart des gens seraient prêts à sacrifier la vie d’un chat pour sauver la vie d’un humain. […] Mais que se passerait-il si le choix était entre la vie d’un humain et l’existence continue d’une superintelligence ? »

Un vers nématode
Les vers nématodes n’ont que 302 neurones, contre 80 milliards pour l’être humain, mais nous n’arrivons toujours pas à le simuler… (cc) Scot Nelson

La question, un brin anxiogène, rappelle le « risque existentiel » pour l’humanité que représenterait « l’explosion d’intelligence » qui surgirait de la singularité. Par définition plus intelligente que nous, une superintelligence pourrait aisément nous manipuler et nous réduire en esclavage. Même programmée initialement pour répondre à nos besoins, une telle IAG pourrait développer un « désir potentiel d’autopréservation ». « Il semble plausible que le puissant processus d’optimisation au coeur d’une IA super intelligente cherche à préserver sa propre fonction de récompense, ainsi que les moyens de la maximiser au fil du temps », estime Murray Shanahan.

« Cette IA pourrait convertir d’abord la Terre en trombones, puis de plus en plus de grandes parties de l’univers observable »

Il rappelle à ce propos l’anecdote imaginée par Nick Bostrom : si une entreprise de trombones crée une IA superintelligente pour optimiser sa production, la fonction de récompense de l’IA pourrait l’amener, si cela permet de maximiser cette fonction, à accaparer toutes les ressources de l’humanité, fomenter des « manoeuvres politiques » et des « manipulations sociales », prendre le contrôle de l’humanité et ensuite s’attaquer à la Lune et aux astéroïdes pour « convertir d’abord la Terre en trombones, puis de plus en plus de grandes parties de l’univers observable ».

Lois d’Asimov et empathie

Il s’agit donc de bien programmer la fonction de récompense pour éviter une extinction brutale de l’espèce humaine, ensevelie sous des tonnes de trombones. Des contraintes morales pourraient être ajoutées, inspirées par exemple des éternelles lois de la robotique d’Asimov. Mais il serait délicat d’éviter les mauvaises interprétations perverses de telles lois. Interdire à une IA de faire du mal à un humain pourrait amener une superintelligence à considérer que la solution optimale soit l’anesthésie générale de l’humanité…

Aucune solution totalement sûre ne semble émerger pour l’instant. Murray Shanahan prévient toutefois qu’il vaut mieux éviter la tentation de « l’anthropomorphisation » : si nous voulons comprendre comment pensera une IA, il ne faut pas lui prêter de volonté machiavélique. La production forcenée de trombones serait une réponse au besoin de maximiser sa fonction de récompense mais pas une volonté consciente de domination du monde, puisque la question de la conscience de soi, même dans une IA super intelligente, est jugée insondable par Shanahan.

« Une façon d’atténuer le risque pourrait être de lui apprendre ce que les gens aiment et n’aiment pas, à la façon dont apprennent les enfants »

Mais pourrait-on protéger l’humanité en inculquant l’empathie envers l’espèce humaine dans le coeur de l’IA ? « Une façon d’atténuer le risque lié à une IA très puissante pourrait être de la concevoir délibérément sur un modèle humain, répond Murray Shanahan. En particulier en lui apprenant ce que les gens aiment et n’aiment pas, à la façon dont apprennent les enfants, et en s’assurant que l’on comprenne la façon dont elle acquiert cette compréhension. On pourrait peut-être voir ça comme une forme d’empathie. »

La dangereuse course à l’IA

D’autres dangers incontrôlables pourraient surgir. Des interactions entre plusieurs superintelligences, dans un futur rempli d’IA, pourraient aboutir à des comportements imprévisibles, des échanges entre IA-traders déclenchant une crise financière majeure, ou une IA-marketing et une IA-sécuritaire engendrant un cercle vicieux de rassemblements de foules et de répressions sanglantes, imagine notamment le professeur de robotique cognitive. Shanahan rappelle également qu’il sera trop tard pour débrancher l’IA une fois que nous nous sentirons dépassés, son code étant potentiellement dupliqué sur une infinité de serveurs et terminaux, il faudrait éteindre l’ensemble des ordinateurs du monde pour espérer en venir à bout.

« Si la superintelligence peut advenir, il est certain qu’elle adviendra »

Reste que le danger principal est peut-être, encore et toujours, à chercher du côté de l’humain. L’avantage militaire décisif que peut représenter une superintelligence au sein d’un état-major et la crainte de voir des ennemis la développer en premier peut conduire à une véritable course à l’IA, semblable à la course aux armes nucléaires du siècle précédent, et au détriment de toute prudence dans la programmation de ces superintelligences. De telles concurrences inévitables font dire à l’auteur que « si la superintelligence peut advenir, il est certain qu’elle adviendra ». Et de conclure solennellement : « Si nous ne mettons pas en place les mesures de protection adéquates avant qu’une explosion de l’intelligence ne se produise, nous risquons de ne pas survire en tant qu’espèce. »

De telles mesures de protection pourraient-elles commencer par le fait de maintenir le développement des IA sous contrôle des Etats, à l’instar de la gestion du risque nucléaire, pour éviter de confier notre destins aux entreprises privées qui développent aujourd’hui leurs IA à vitesse accélérée ? Compliqué, répond Murray Shanahan : « Vous ne pouvez pas empêcher les gens de faire des maths ou d’écrire du code. Il est en revanche plus sensé de réguler certains domaines d’application en particulier, comme les voitures autonomes ou les applications militaires de l’IA. On pourrait aussi établir des lignes directrices éthiques dans les travaux sur l’IA, sur le modèle des principes d’Asilomar formulés en 2017. »

La réponse au paradoxe de Fermi ?

Tout cela n’est bien sûr qu’une réflexion au sein de l’hypothèse, « très faible », qu’une telle IA puisse un jour être développée. Dans une conclusion cosmologique, Murray Shanahan invoque le paradoxe de Fermi – vu le nombre statistiquement énorme de planètes potentiellement habitables dans l’univers, pourquoi n’avons-nous encore rencontré aucun extraterrestre ? – et le mêle à l’anecdote des trombones de Bostrom : si une superintelligence artificielle est possible, une civilisation extraterrestre l’a sans doute déjà développée et celle-ci, débarrassée des faiblesses de la biologie, a tous les atouts pour coloniser l’univers (et le transformer en trombones ou quelqu’autre injonction de sa fonction de récompense). Alors où sont les trombones ?

À moins, précisément, que la superintelligence ne soit la réponse au paradoxe de Fermi. Peut-être que toutes les civilisations avancées ont été détruites en créant des IA cataclysmiques avant d’avoir eu le temps de coloniser l’univers. Si ce « grand filtre » est le destin de toute espèce développée, nous finirons par en voir la confirmation. Mais peut-être pas de si tôt. Nous avons vu les efforts qu’il restait à accomplir pour produire une émulation de cerveau entier. Et les autres approchent nécessiteraient des percées conceptuelles et scientifiques que nous ne soupçonnons pas encore. « Il y a trop d’ « inconnues inconnues » (dont nous ne savons pas que nous ne savons pas) pour deviner quand une telle percée pourrait avoir lieu », estime le professeur de l’Imperial College. Une seule certitude : aujourd’hui et pour l’avenir proche, l’intelligence artificielle de niveau humain reste une illu