Que se passera-t-il quand nos ordinateurs deviendront plus intelligents que nous ?
4,141,282 views • 16:31

Je travaille avec des mathématiciens, philosophes et informaticiens, et nous nous réunissons pour imaginer le futur de l'intelligence artificielle, entre autres choses. Certains pensent que c'est un peu de la science-fiction, complètement éloigné du réel. Mais j'aime dire, d'accord, jetons un coup d'oeil à la condition humaine moderne. (Rires) C'est la façon normale d'être des choses.

Mais si on y pense, nous ne sommes en fait que des invités récemment arrivés sur cette planète, l'espèce humaine. Imaginez si la Terre avait été créée il y a un an, l'espèce humaine existerait alors depuis dix minutes. L'ère industrielle a débuté il y a deux secondes. Une autre façon de voir est de calculer le PIB mondial des 10 000 dernières années. J'ai vraiment pris le temps de faire un graphe pour vous. Il ressemble à ça. (Rires) Drôle de courbe pour une condition normale. Je ne voudrais pas lui tourner le dos. (Rires)

Demandons-nous, quelle est la cause de cette anomalie ? Certains diront que c'est la technologie. C'est vrai, la technologie s'est accumulée au cours de l'histoire humaine, et aujourd'hui, la technologie progresse très rapidement — c'est la cause la plus proche, c'est pourquoi nous sommes si productifs de nos jours. Mais je préfère réfléchir en remontant à la cause fondamentale.

Regardez ces deux messieurs très distingués : Nous avons Kanzi — il maîtrise 200 symboles lexicaux, un exploit incroyable. Et Ed Witten a déclenché la seconde révolution des supercordes. Si nous regardons sous la capuche, voici ce que l'on trouve : en gros, la même chose. L'un est un peu plus grand, il y a peut-être aussi quelques subtilités de câblage. Ces différences invisibles ne peuvent être trop compliquées quoi qu'il en soit, car il n'y a eu que 250 000 générations depuis notre dernier ancêtre commun. Nous savons que les mécanismes compliqués demandent beaucoup de temps pour évoluer. Donc des changements relativement mineurs nous emmènent de Kanzi à Witten, de branches arrachées aux arbres aux missiles balistiques intercontinentaux.

Il semble alors assez évident que tout ce que nous avons réalisé, et ce que nous chérissons, dépend principalement de quelques changements mineurs qui ont aboutit à l'esprit humain. Le corollaire, bien sûr, est que tout changement à venir qui pourrait changer significativement le substrat de la pensée pourrait avoir potentiellement d'énormes conséquences.

Certains de mes collègues pensent que nous sommes sur le point de développer quelque chose qui pourrait causer un tel changement dans ce substrat, et c'est la super intelligence artificielle. Avant, l'intelligence artificielle consistait à mettre des commandes dans une boîte. Il y avait des programmeurs humains qui fabriquaient minutieusement des objets savants. On construisait ces systèmes experts, et ils étaient utiles pour certains buts, mais ils étaient très fragiles, on ne pouvait pas les agrandir. En gros, vous n'aviez que ce que vous aviez mis dedans. Mais depuis, une révolution conceptuelle s'est opérée dans le domaine de l'I.A..

Aujourd'hui, l'action est centré sur l'apprentissage machine. Plutôt que de coder à la main des programmes et leurs caractéristiques, on crée des algorithmes qui apprennent, souvent à partir des données brutes perçues. En gros, la même chose que fait un enfant. Le résultat est une I.A. qui n'est pas limitée à un domaine — le même système peut apprendre à traduire n'importe quel couple de langues, ou apprendre à jouer n'importe quel jeu sur la console Atari. Bien sûr, l'I.A. est toujours loin d'avoir la capacité puissante et transversale à apprendre et planifier d'un être humain. Le cortex a encore des secrets algorithmiques que nous ne savons pas intégrer dans les machines.

Donc la question est, combien de temps nous faudra-t-il pour réussir à les intégrer ? Il y a quelques années, nous avons fait un sondage auprès des experts mondiaux des I.A., pour voir ce qu'ils pensaient, et une des questions posées était, « En quelle année pensez-vous qu'il y aura 50% de chance qu'une I.A. atteigne le niveau d'une intelligence humaine ? » Nous définissons ici le seuil à atteindre par la capacité de l'I.A. à réaliser presque toutes les tâches au moins aussi bien qu'un adulte, donc réellement comme un humain, pas seulement dans un domaine limité. La réponse médiane était 2040 ou 2050, en fonction du groupe d'experts que nous interrogions. Ça pourrait se produire bien plus tard ou bien plus tôt, la vérité est que personne ne le sait.

Ce que nous savons est que la limite de traitement de l'information dans une machine est bien supérieure à celle d'un tissu biologique. Ça s'explique par la physique. Un neurone biologique "décharge" environ à 200 hertz, 200 fois par seconde. Mais, même un transistor actuel fonctionne au gigahertz. L'information se propage dans les neurones le long d'axones à 100 m/s maximum. Mais dans les ordinateurs, le signal peut voyager à la vitesse de la lumière. Il y a aussi des limitations de taille, car le cerveau humain doit rentrer dans la boîte crânienne, mais un ordinateur peut être de la taille d'un entrepôt ou plus grand. Donc le potentiel de super intelligence est en sommeil dans la matière, tout comme la puissance de l'atome est restée en sommeil tout au long de l'histoire humaine, attendant patiemment jusqu'en 1945. Au cours de ce siècle, il se peut que les scientifiques apprennent à réveiller la puissance de l'I.A.. Je pense que nous pourrions alors assister à une explosion d'intelligence.

La plupart des gens, quand ils pensent à ce qui est bête ou intelligent ont une image de ce genre en tête. À une extrémité on a l'idiot du village, et à l'autre bout on a Ed Witten, ou Albert Einstein, ou votre gourou, qui qu'il soit. Mais je pense que du point de vue de l'intelligence artificielle, la véritable image est plus probablement comme ceci, en réalité : l'I.A. commence à cet endroit, à zéro intelligence, et ensuite, après de nombreuses années de dur labeur, peut-être, arrivons-nous au niveau de l'intelligence d'une souris, quelque chose qui peut naviguer dans des environnements encombrés aussi bien qu'une souris. Ensuite, après encore plus d'années de dur labeur et beaucoup d'investissements, peut-être, finalement, arrivons-nous au niveau d'intelligence d'un chimpanzé. Ensuite, après toujours plus d'années de vraiment très dur labeur, nous arrivons au niveau d'intelligence de l'idiot du village. Et quelques mois plus tard, nous sommes après Ed Witten. Le train ne s'arrête pas à la station Humainville. Il va plutôt passer à fond devant.

Il y a là de profondes implications, en particulier quand il est question de pouvoir. Par exemple, les chimpanzés sont forts — à poids équivalent, un chimpanzé est deux fois plus fort qu'un homme adulte. Pourtant, le destin de Kanzi et de ses congénères dépend beaucoup plus de ce que font les humains que de ce que les chimpanzés font eux-mêmes. Une fois que la super intelligence sera là, le destin de l'humanité pourrait dépendre des actions de cette super intelligence. Pensez-y : l'I.A. est la dernière invention que l'homme aura jamais besoin de faire. Les machines seront alors de meilleurs inventeurs que nous le sommes, et elles inventeront sur des échelles de temps numériques. Ça veut dire un télescopage avec le futur. Pensez à toutes les technologies incroyables que vous avez imaginées, que les hommes pourraient avoir développées avec le temps : plus de vieillissement, colonisation de l'espace, nano-robots auto-répliquants, téléchargement d'esprits humains dans des ordinateurs, plein de technologies de science-fiction qui sont néanmoins cohérentes avec les lois de la physique. Toute cette super intelligence pourrait se développer assez rapidement.

Bon, une super intelligence avec une telle maturité technologique serait extrêmement puissante, et au moins dans certains scénarios, serait capable d'obtenir ce qu'elle veut. Nous aurions alors un futur modelé par les préférences de cette I.A. Une bonne question est, quelles sont ces préférences ? C'est là que ça devient délicat. Pour progresser là-dessus, nous devons tout d'abord éviter tout anthropomorphisme. C'est ironique car dans tous les articles de journaux qui parle de l'avenir de l'I.A. comportent une image de ceci. Je pense que nous devons concevoir ce problème de manière plus abstraite, et non en scénario hollywoodien fertile.

Nous devons penser à l'intelligence comme un processus d'optimisation, un processus qui guide le futur dans un certain jeu de configurations. Une super intelligence est un processus d'optimisation très fort. Elle est très douée pour utiliser les moyens disponibles pour atteindre un état dans lequel son but est réalisé. Ça signifie qu'il n'y a pas de nécessaire connexion entre le fait d'être très intelligent dans ce sens, et avoir un objectif que nous, humains, trouverions utile ou significatif.

Supposons qu'on donne comme but à une I.A. de faire sourire les humains. Quand l'I.A. est faible, elle réalise des actions utiles ou amusantes qui provoque le sourire de l'utilisateur. Quand l'I.A. devient super intelligente, elle réalise qu'il y a un moyen plus efficace d'atteindre son objectif : prendre le contrôle du monde et implanter des électrodes dans les muscles faciaux des humains pour provoquer des sourires rayonnants et constants. Un autre exemple, supposons qu'on demande à une I.A. de résoudre un problème de math très dur. Quand l'I.A. devient super intelligente, elle réalise que le moyen le plus efficace pour résoudre ce problème est de transformer la planète en un ordinateur géant, pour augmenter sa capacité de calcul. Remarquez que ça donne aux I.A.s une raison pratique de faire des choses que nous pourrions ne pas approuver. Les humains sont des menaces dans ce modèle, car nous pourrions empêcher la résolution du problème.

Bien sûr, les choses perceptibles ne tourneront pas mal de ces façons-là ; ce sont des exemples caricaturés. Mais l'argument général est important : si vous créez un processus d'optimisation très puissant pour maximiser les chances d'atteindre l'objectif x, vous devez vous assurer que votre définition de x incorpore tout ce à quoi vous tenez. C'est une leçon qui est enseignée dans de nombreux mythes. Le roi Midas souhaitait que tout ce qu'il touche se transforme en or. Il touche sa fille, elle se transforme en or. Il touche sa nourriture, elle se transforme en or. Ça pourrait devenir pertinent en pratique, ne pas se limiter à une métaphore de la cupidité mais illustrer ce qui arrive si vous créez un processus d'optimisation puissant et lui donnez des objectifs mal conçus ou trop vagues.

Vous pourriez dire que si un ordinateur commence à nous implanter des électrodes, nous le débrancherions. A, ce n'est pas forcément si facile à faire si nous sommes devenus dépendants, par exemple, comment arrête-t-on internet ? B, pourquoi les chimpanzés ou les Neandertals n'ont-ils pas empêché l'humanité ? Ils avaient de bonnes raisons. Nous avons un interrupteur, par exemple, juste ici. (Suffocation) La raison est que nous sommes un adversaire intelligent ; nous pouvons anticiper les menaces et planifier des solutions. Mais une super intelligence pourrait le faire aussi, et elle le ferait bien mieux que nous. L'important est que nous ne devrions pas croire que nous avons tout sous contrôle.

Nous pourrions tenter de nous faciliter la tâche, disons en mettant l'I.A. dans une boîte, comme un environnement logiciel sûr, une simulation de la réalité d'où elle ne peut s'échapper. Mais à quel point sommes-nous sûrs qu'elle ne trouvera pas un bug. Étant donné que de simples hackers humains trouvent toujours des bugs, je dirais, probablement pas très sûrs. Donc on déconnecte le câble Ethernet pour créer une séparation physique, mais encore une fois, comme de simples hackers humains transgressent les séparations physiques grâce à l'ingéniérie sociale. À l'heure où je vous parle, en ce moment-même, je suis sûr qu'il y a un employé, quelque part à qui quelqu'un prétendant être du département informatique a demandé de donner son identifiant et son mot de passe.

Des scénarios plus créatifs sont aussi possibles, par exemple, si vous êtes une I.A. vous pouvez déplacer des électrodes dans vos circuits internes pour créer des ondes radio que vous utiliserez pour communiquer. Ou vous pouvez prétendre dysfonctionner, et quand les ingénieurs vous ouvrent pour voir ce qui ne marche pas, ils regardent votre code source — Vlan ! — la manipulation peut commencer. Ou elle pourrait produire le plan d'une nouvelle technologie géniale, et quand nous l'implementons, elle a quelques effets secondaires furtifs planifiés par l'I.A. Donc nous ne devrions pas faire confiance à notre capacité à garder un génie super intelligent prisonnier dans sa lampe éternellement. À un moment donné, il va s'échapper.

Je crois que la réponse à ça est de découvrir comment créer une super intelligence telle que même si ou quand elle s'échappe, on est toujours en sécurité car elle est fondamentalement de notre côté car elle partage nos valeurs. Je ne vois aucune solution à ce problème.

Mais je suis plutôt optimiste quant le fait que ce problème peut être résolu. Nous n'aurions pas à écrire une longue liste de tout ce que nous chérissons, ou, encore pire, devoir le coder en language informatique comme C++ ou Python, ce qui serait une tâche sans espoir. Au lieu de ça, nous créerions une I.A. qui utilise son intelligence pour apprendre nos valeurs, et son système de motivation est construit de telle sorte qu'elle est motivée par la recherche de valeurs ou d'actions qu'elle prédit que nous approuverions. Nous pourrions ainsi influencer son intelligence autant que possible à résoudre des problèmes importants.

Ça peut arriver, et le résultat en serait très positif pour l'humanité. Mais ça n'arrive pas automatiquement. Les conditions initiales de l'explosion de l'intelligence devront être programmées de manière précise si nous voulons obtenir une détonation contrôlée. Les valeurs de l'I.A. devront correspondre aux nôtres, pas seulement dans un contexte familier, où il est facile de contrôler comment l'I.A. se comporte, mais aussi dans de nouveaux contextes que l'I.A. pourrait rencontrer dans un futur indéfini.

Il y a aussi des problèmes ésotériques qui devront être résolus : les détails exacts de sa théorie de décision, comment gérer l'incertitude logique et ainsi de suite. Les problèmes techniques qui doivent être surmontés pour que ça marche semblent ardus— pas autant que de faire une I.A. super intelligente, mais assez ardus. Là où c'est inquiétant, c'est que faire une I.A. super intelligente est un défi vraiment difficile. Faire une I.A. super intelligente qui soit sûre implique quelques défis supplémentaires. Le risque est que si quelqu'un trouve comment résoudre le premier défi sans avoir aussi résolu l'autre défi, celui d'assurer une sécurité parfaite.

Je pense que nous devrions donc commencer à résoudre le problème de contrôle d'abord, pour qu'il soit disponible quand on en aura besoin. On ne pourra peut-être pas résoudre tout le problème du contrôle à l'avance car certains éléments ne peuvent être mis en place qu'une fois qu'on connait les détails de l'architecture où ce sera implémenté. Mais plus nous résolvons ce problème de contrôle à l'avance, meilleure sera notre chance que la transition vers l'ère de l'I.A. se passera bien.

Pour moi, ça semble valoir la peine et j'imaginer que, si tout se passe bien, les gens, dans un million d'années, penseront peut-être que la chose qui a vraiment été importante dans notre siècle était de faire ça bien.

Merci.

(Applaudissements)